[논문 리뷰] Ensemble Estimation of Large Sparse Covariance Matrix Based on Modified Cholesky Decomposition

Xiaoning Kang, Xinwei Deng|arXiv (Cornell University)|2017. 12. 01.

Blind Source Separation Techniques인용 수 1

한 줄 요약

이 논문은 수정 콜리지 분해를 사용하여 대규모 희소 공분산 행렬을 위한 앙상블 추정기법을 제안하며, 변수 순서의 유연성을 활용해 다수의 추정치를 생성하고, 프로베니우스 노름 최적의 중심을 최종 양의 정부호 추정기로 선택한다. 이 방법은 양의 정부호성과 희소 구조 복원을 보장하며, 약한 정규성 조건 하에서 알고리즘적 및 점근적 수렴에 대한 이론적 보장을 제공한다.

ABSTRACT

Estimation of large sparse covariance matrices is of great importance for statistical analysis, especially in the high dimensional setting. The traditional approach such as sample covariance matrix could perform poorly due to the high dimensionality. In this work, we propose a positive-definite estimator for the covariance matrix based on the modified Cholesky decomposition. The modified Cholesky decomposition relies on the order of variables, which provides the flexibility to obtain a set of covariance matrix estimates under different orders of variables. The proposed method considers an ensemble estimator as the center of such a set of covariance matrix estimates with respect to the Frobenius norm. The proposed estimator is not only guaranteed to be positive definite, but also can capture the underlying sparse structure of the covariance matrix. Under some weak regularity conditions, both algorithmic convergence and asymptotical convergence are established. The merits of the proposed method are illustrated through simulation studies and one real data example.

연구 동기 및 목표

• 고차원 설정에서 표본 공분산 행렬의 열악한 성능을 해결하기 위해 고차원성의 영향을 완화하고자 한다.
• 큰 공분산 행렬의 기저가 되는 희소 구조를 포착하는 양의 정부호 추정기를 개발하고자 한다.
• 수정 콜리지 분해에서의 변수 순서 유연성을 활용하여 다수의 후보 추정치를 생성하고자 한다.
• 모든 후보 추정치와의 프로베니우스 노름 거리의 합을 최소화하는 앙상블 추정기를 구성하고자 한다.
• 고차원 점근적 영역에서 알고리즘과 추정기의 이론적 수렴 성질을 확립하고자 한다.

제안 방법

• 변수 순서에 따라 달라지는 수정 콜리지 분해를 활용하여 양의 정부호 공분산 행렬 추정치의 집합을 생성한다.
• 다양한 변수 순서를 적용하여 다수의 추정치를 생성하며, 분해의 유연성을 활용해 다양한 구조적 패턴을 탐색한다.
• 앙상블 추정기를 후보 추정치 집합의 프로베니우스 노름 중심으로 정의하여, 제곱 프로베니우스 거리의 합을 최소화한다.
• 최종 추정기가 양의 정부호임을 구성에 의해 보장한다. 이는 양의 정부호 행렬들의 볼록 조합이기 때문이다.
• 알고리즘적 및 점근적 수렴을 확립하기 위해 약한 정규성 조건을 도입한다.
• 반복 최적화를 활용하여 앙상블 추정기를 계산하며, 개별 추정치에 대한 충실도와 전반적 안정성의 균형을 유지한다.

실험 결과

연구 질문

• RQ1 수정 콜리지 기반 추정치의 앙상블은 대규모 희소 공분산 행렬 추정의 정확성과 안정성을 향상시킬 수 있는가?
• RQ2 수정 콜리지 프레임워크에서 변수 순서의 선택은 개별 공분산 행렬 추정치의 품질에 어떤 영향을 미치는가?
• RQ3 다수의 콜리지 기반 추정치를 하나의 견고하고 양의 정부호인 추정기로 집계하는 최적의 방법은 무엇인가?
• RQ4 제안된 앙상블 추정기는 고차원 점근적 영역에서도 일致성과 수렴성을 유지하는가?
• RQ5 약한 정규성 조건 하에서 이 방법은 기저 공분산 행렬의 진짜 희소 구조를 효과적으로 복원할 수 있는가?

주요 결과

• 제안된 앙상블 추정기는 양의 정부호 행렬들의 볼록 조합으로 구성되어 있어 반드시 양의 정부호임이 보장된다.
• 이 방법은 고차원 설정에서도 진짜 공분산 행렬의 기저가 되는 희소 구조를 효과적으로 포착한다.
• 약한 정규성 조건 하에서 알고리즘 수렴이 확립되어 안정적인 반복 계산이 보장된다.
• 점근적 수렴이 증명되어 표본 크기가 증가함에 따라 추정기가 진짜 공분산 행렬에 수렴함을 나타낸다.
• 시뮬레이션 연구와 실제 데이터 예제를 통해 기존 표본 공분산 행렬 및 기타 희소 추정기들에 비해 이론적 정확성과 안정성 면에서 본 방법의 우수성을 입증한다.