[논문 리뷰] A convex framework for high-dimensional sparse Cholesky based covariance estimation

Kshitij Khare, Sang Min Oh외 2명|arXiv (Cornell University)|2016. 10. 07.

Sparse and Compressive Sensing Techniques참고 문헌 4인용 수 5

한 줄 요약

이 논문은 역공분산행렬의 콜레스키 분해를 정규화하여 고차원 희소 공분산 추정을 위한 새로운 볼록 최적화 프레임워크를 제안한다. 이 방법은 p > n일 경우에도 양의 정부호성과 수렴성을 보장하며, 시뮬레이션과 실제 데이터에서 유한 표본 성능이 뛰어나 고차원 추정 및 그래프 선택 일致성을 달성한다.

ABSTRACT

Covariance estimation for high-dimensional datasets is a fundamental problem in modern day statistics with numerous applications. In these high dimensional datasets, the number of variables p is typically larger than the sample size n. A popular way of tackling this challenge is to induce sparsity in the covariance matrix, its inverse or a relevant transformation. In particular, methods inducing sparsity in the Cholesky pa- rameter of the inverse covariance matrix can be useful as they are guaranteed to give a positive definite estimate of the covariance matrix. Also, the estimated sparsity pattern corresponds to a Directed Acyclic Graph (DAG) model for Gaussian data. In recent years, two useful penalized likelihood methods for sparse estimation of this Cholesky parameter (with no restrictions on the sparsity pattern) have been developed. How- ever, these methods either consider a non-convex optimization problem which can lead to convergence issues and singular estimates of the covariance matrix when p > n, or achieve a convex formulation by placing a strict constraint on the conditional variance parameters. In this paper, we propose a new penalized likelihood method for sparse estimation of the inverse covariance Cholesky parameter that aims to overcome some of the shortcomings of current methods, but retains their respective strengths. We ob- tain a jointly convex formulation for our objective function, which leads to convergence guarantees, even when p > n. The approach always leads to a positive definite and symmetric estimator of the covariance matrix. We establish high-dimensional estima- tion and graph selection consistency, and also demonstrate finite sample performance on simulated/real data.

연구 동기 및 목표

• 변수 수 p가 표본 크기 n을 초과할 때 고차원 공분산 추정의 과제를 해결한다.
• 기존의 비볼록 또는 제약 조건이 있는 볼록 방법의 희소 콜레스키 기반 추정에 대한 한계를 극복한다.
• 공분산 추정기의 수렴성과 양의 정부호성을 보장하는 공동 볼록 최적화 프레임워크를 개발한다.
• 고차원 설정에서 추정 및 그래프 선택 일치성을 확보한다.
• 특히 표본 수가 적은 경우(p > n) 시뮬레이션 및 실세계 데이터에서 향상된 유한 표본 성능을 입증한다.

제안 방법

• 콜레스키 매개변수 T와 대각 공분산 행렬 D를 공동으로 최적화하는 페널티 최대우도 방법을 제안하며, 볼록 목적 함수를 사용한다.
• 콜레스키 매개변수 요소에 라소 유형의 페널티를 적용하여 희소성을 유도하며, 블록 좌표 최소화가 가능하도록 목적 함수를 구성한다.
• T와 D에 대해 목적 함수가 공동 볼록임을 보장하여, 고차원 설정에서도 수렴 보장을 확보한다.
• 콜레스키 매개변수를 행 단위로 분할하여 최적화 문제를 볼록 하위문제의 시퀀스로 포장한다.
• 수정된 콜레스키 분해 Σ⁻¹ = TᵗDT를 활용하며, T는 대각 성분이 1인 하삼각행렬이고, D는 양의 성분을 가진 대각행렬이다.
• 유니온 병합과 농도 불등식을 적용하여, 희소성과 n에 대해 다항식 성장하는 p 조건 하에서 고차원 일치성을 확립한다.

실험 결과

연구 질문

• RQ1 p > n일 경우 수렴성과 양의 정부호성을 보장하는 희소 콜레스키 기반 역공분산 추정을 위한 볼록 최적화 프레임워크를 개발할 수 있는가?
• RQ2 제안된 방법은 고차원 추정 및 그래프 선택 일치성을 달성하는가?
• RQ3 기존의 비볼록 또는 제약 조건이 있는 볼록 접근법에 비해 이 유한 표본 성능은 어떻게 비교되는가?
• RQ4 이 방법은 고차원 희소 가우시안 그래픽 모델에서 진정한 기저 DAG 구조를 효과적으로 복원할 수 있는가?
• RQ5 표본 크기에 따라 성능가 어떻게 변화하는가, 특히 표본 수가 적은(p > n) 경우에 어떻게 되는가?

주요 결과

• 제안된 CSCS(볼록 희소 콜레스키) 방법은 공동 볼록 최적화 문제를 도출하여, p > n일 경우에도 공분산 추정기의 수렴성과 양의 정부호성을 보장한다.
• 시뮬레이션과 실제 데이터(Call Center 데이터)에서, 특히 학습 표본 크기가 작은 경우(T = 75, 100), CSCS는 예측 오차 측면에서 희소 콜레스키 및 희소 DAG를 모두 능가한다.
• T = 75일 때(표본 수 n < 변수 수 p), CSCS는 51개 시간 간격 중 26개에서 최소 예측 오차를 기록했으며, 희소 콜레스키는 7개, 희소 DAG는 18개였다.
• 모든 학습 크기에서 집계된 예측 오차는 CSCS가 가장 낮았으며, T = 75일 때 평균 오차가 39.22였고, 희소 콜레스키는 41.28, 희소 DAG는 39.42였다.
• 희소성과 p = O(n^κ) 조건(κ < 1) 하에서, CSCS 추정기는 온건한 정규성 조건 하에서도 고차원 추정 및 그래프 선택 일치성을 달성한다.
• CSCS 추정기는 표본 공분산 행렬보다 일致적으로 뛰어나며, 모든 학습 크기에서 예측 오차 최소 2회를 기록한 표본 공분산 행렬보다 성능이 열 劣하다.