[논문 리뷰] Inference for Sparse Conditional Precision Matrices

Jialei Wang, Mladen Kolar|arXiv (Cornell University)|2014. 12. 24.

Statistical Methods and Inference참고 문헌 63인용 수 10

한 줄 요약

이 논문은 고차원 설정에서 조건부 정밀행렬이 낮은 차원의 인덱스 변수 Z에 따라 부드럽게 변할 때, 희박한 조건부 정밀행렬을 추정하는 새로운 방법을 제안한다. 국소 상수 스무딩과 그룹 Lasso 정규화를 조합함으로써, 조건부 독립 구조를 일관되게 추정하고 타당한 점별 신뢰구간을 구축할 수 있으며, 최소한의 분포 가정 하에 희박성 일관성과 점근 정규성에 대한 이론적 보장을 제공한다.

ABSTRACT

Given $n$ i.i.d. observations of a random vector $(X,Z)$, where $X$ is a high-dimensional vector and $Z$ is a low-dimensional index variable, we study the problem of estimating the conditional inverse covariance matrix $Ω(z) = (E[(X-E[X \mid Z])(X-E[X \mid Z])^T \mid Z=z])^{-1}$ under the assumption that the set of non-zero elements is small and does not depend on the index variable. We develop a novel procedure that combines the ideas of the local constant smoothing and the group Lasso for estimating the conditional inverse covariance matrix. A proximal iterative smoothing algorithm is used to solve the corresponding convex optimization problems. We prove that our procedure recovers the conditional independence assumptions of the distribution $X \mid Z$ with high probability. This result is established by developing a uniform deviation bound for the high-dimensional conditional covariance matrix from its population counterpart, which may be of independent interest. Furthermore, we develop point-wise confidence intervals for individual elements of the conditional inverse covariance matrix. We perform extensive simulation studies, in which we demonstrate that our proposed procedure outperforms sensible competitors. We illustrate our proposal on a S&P 500 stock price data set.

연구 동기 및 목표

• X가 고차원이고 Z가 낮은 차원의 인덱스 변수일 때, Ω(z) = E[(X−E[X|Z])(X−E[X|Z])^T | Z=z]^{-1}의 조건부 역공분산행렬을 추정하기 위해.
• 희박성 가정 하에 X|Z의 조건부 독립 구조를 높은 확률로 복원할 수 있는 절차를 개발하기 위해.
• 조건부 정밀행렬 Ω(z)의 개별 요소에 대한 점별 신뢰구간을 구축하기 위해.
• p ≫ n 인 고차원 환경에서 추정기의 이론적 일관성과 점근 정규성을 확립하기 위해.
• 인구 모멘트에 대한 고차원 조건부 공분산행렬의 균일한 편차 bound를 제공하여, 별도의 이론적 관심을 가짐.

제안 방법

• (X,Z)의 분포에 강한 파라미터 가정을 두지 않고 Ω(z)를 추정하기 위해 펜라이즈드 국소 가우시안 우도 접근법을 사용한다.
• 핵 함수 가중 관측치를 이용해 각 인덱스 점 z에서 Ω(z)를 비모수적으로 추정하기 위해 국소 상수 스무딩을 적용한다.
• z에 따라 변하는 상관관계 강도를 允허하면서도 공통된 희박성 패턴을 강제하기 위해 추정된 정밀행렬에 그룹 Lasso 펜alties를 적용한다.
• 계산 효율성을 위해 결과로 생기는 볼록 최적화 문제를 프록시탈 반복 스무딩 알고리즘으로 해결한다.
• 이론적 일관성을 확보하기 위해 고차원 조건부 공분산행렬에 대한 균일한 편차 bound를 유도한다.
• 추정기의 점근 정규성에 기반해 Ω(z)의 개별 요소에 대한 점별 신뢰구간을 구축한다.

실험 결과

연구 질문

• RQ1 희박성 패턴이 z에 따라 공통이지만 연관성 강도가 z에 따라 변할 때, 조건부 역공분산행렬 Ω(z)를 일관되게 추정할 수 있는가?
• RQ2 제안된 방법이 고차원 설정에서 높은 확률로 진짜 조건부 독립 구조를 올바르게 복원하는 희박성 일관성(sparsistency)을 달성하는가?
• RQ3 최소한의 분포 가정 하에 Ω(z)의 개별 항목에 대한 타당한 점별 신뢰구간을 구축할 수 있는가?
• RQ4 조건부 공분산행렬에 대한 균일한 편차 bound가 고차원 환경에서 이론적 보장을 지지할 정도로 충분히 날카로운가?
• RQ5 추정 정확도와 변수 선택 성능 측면에서 기존 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 희박성 일관성을 달성한다: 적절한 정규성 조건 하에 진짜 X|Z의 조건부 독립 구조를 높은 확률로 복원한다.
• 고차원 조건부 공분산행렬에 대한 균일한 편차 bound가 확립되었으며, 별도의 이론적 관심을 가진다.
• 추정기의 점근 정규성에 기반해 Ω(z)의 개별 요소에 대한 점별 신뢰구간이 타당하다. 이는 Lindeberg 조건의 검증을 통해 증명되었다.
• 적절한 대역폭 h ≍ n^{-1/4} 하에, 정밀행렬 및 그 역행렬에 대해 추정기의 일관성 수렴 속도가 O_p(n^{-3/8}√log p)이다.
• 시뮬레이션 연구 결과, 경쟁 방법들에 비해 추정 정확도와 변수 선택 성능에서 뛰어난 성능을 보였다.
• S&P 500 주가 수익률 데이터에 성공적으로 적용되어 금융 네트워크 추정에서 실용적 유용성을 입증했다.