[논문 리뷰] Covariance estimation with nonnegative partial correlations

Jake A. Soloff, Adityanand Guntuboyina외 1명|arXiv (Cornell University)|2020. 07. 30.

Random Matrices and Applications참고 문헌 40인용 수 7

한 줄 요약

이 논문은 부분상관계수가 비음이 아닌 제약 조건 하에서 고차원 공분산 추정을 다루며, 차원 수 p가 표본 크기 n을 초과할지라도 두 개의 표본으로도 정밀행렬에 대한 제약 조건이 있는 최대우도추정량이 잘 정의됨을 보여준다. 이 추정량은 대칭 스티븐 손실 기준에서 고차원적으로 일致하고 최소최대 최적임을 입증하지만, 공분산 행렬의 최대 고유값 추정에 상당한 편향을 유발한다.

ABSTRACT

We study the problem of high-dimensional covariance estimation under the constraint that the partial correlations are nonnegative. The sign constraints dramatically simplify estimation: the Gaussian maximum likelihood estimator is well defined with only two observations regardless of the number of variables. We analyze its performance in the setting where the dimension may be much larger than the sample size. We establish that the estimator is both high-dimensionally consistent and minimax optimal in the symmetrized Stein loss. We also prove a negative result which shows that the sign-constraints can introduce substantial bias for estimating the top eigenvalue of the covariance matrix.

연구 동기 및 목표

• 비음이 아닌 부분상관계수 제약 조건 하에서 정밀행렬에 대한 제약 조건이 있는 최대우도추정량의 통계적 일관성과 최적성 확립.
• 표준 최대우도추정량이 존재하지 않는 고차원 설정(p ≫ n)에서 이 추정량의 성능 분석.
• 특히 공분산 행렬의 최대 고유값 추정에 있어 부호 제약 조건이 유발하는 편향 조사.
• 대칭 스티븐 손실 기준 하에서 이 추정량의 위험과 수렴에 대한 이론적 보장 제공.
• 이 추정량을 M행렬과 일반화된 그래프 라플라시안과 연결하여 그래픽 모델 및 네트워크 분석에서의 관련성 강조.

제안 방법

• 비음이 아닌 비대각항을 가진 대칭 정반비례 행렬의 집합(M행렬)으로 최적화를 제한함으로써 정밀행렬 Θ*에 대한 제약 조건이 있는 최대우도추정량을 제안.
• 손실 함수: min_Θ∈M^{p×p} {⟨Θ, S⟩ − log det Θ}, 여기서 S는 표본 공분산 행렬이다.
• 약한 조건 하에서 추정량의 존재성과 유일성을 입증: 완전한 양의 상관관계가 없고, 모든 변수가 일정하지 않은 경우로, 이는 n ≥ 2일 때 가우시안 표본 추출 하에서 거의 확실히 성립한다.
• 임의의 행렬 이론과 농도 불등식을 활용하여 표본 공분산 행렬 S₊의 행합에 대한 유한표본 경계를 유도.
• 비음이 아닌 행렬의 스펙트럼 이론을 활용하여 추정된 공분산 행렬의 최대 고유값에 하한을 도출.
• 가우시안 벡터의 리프시츠 함수에 대한 측도의 집중 성질을 활용하여 S₊의 행합 꼬리 행동을 제어함으로써, 고확률 경계 확보.

실험 결과

연구 질문

• RQ1 부분상관계수가 비음이면 고차원 설정(p ≫ n)에서 제약 조건이 있는 정밀행렬 최대우도추정량을 일관되게 추정할 수 있는가?
• RQ2 M행렬 제약 조건 하에서 대칭 스티븐 손실 기준에서 제약 조건이 있는 추정량이 최소최대 최적일 수 있는가?
• RQ3 부호 제약 조건이 공분산 행렬의 최대 고유값 추정에 어떤 영향을 미치는가?
• RQ4 고차원 환경에서 제약 조건이 있는 추정량과 표준 최대우도추정량 간의 편향과 위험 측면에서의 비교는 어떻게 되는가?
• RQ5 두 개의 표본만으로도 제약 조건이 있는 추정량이 잘 정의되고 유일하게 유지되는 조건은 무엇인가?

주요 결과

• 가우시안 모델 하에서 두 변수 간 완전한 양의 상관관계가 없고 모든 변수가 일정하지 않은 한, p와 n ≥ 2에 대해 제약 조건이 있는 최대우도추정량은 존재하고 유일하다.
• 이 추정량은 p ≫ n일지라도 고차원적으로 일관되고 대칭 스티븐 손실 기준에서 최소최대 최적이다.
• 추정된 공분산 행렬의 최대 고유값 추정에 상당한 편향이 존재함을 보여주는 최대 고유값에 대한 하한이 도출된다.
• 표본 공분산 행렬 S₊의 행합은 고확률 하에서 아래로 유계이며, 이는 추정된 공분산 행렬의 최대 고유값에 하한을 제공한다.
• 최대 고유값 추정의 편향은 부호 제약 조건으로 인해 표본 공분산 행렬의 스펙트럼 성질가 왜곡되기 때문이다.
• 이론적 경계는 농도 불등식과 스펙트럼 이론을 활용하여 도출되었으며, 제약 조건 하에서 최대 고유값에 대한 명시적 고확률 제어가 가능하다.