[논문 리뷰] A Well-Conditioned and Sparse Estimation of Covariance and Inverse Covariance Matrices Using a Joint Penalty

Ashwini Maurya|arXiv (Cornell University)|2014. 12. 26.

Statistical Methods and Inference참고 문헌 24인용 수 3

한 줄 요약

이 논문은 높은 차원에서 공분산 및 역공분산 행렬을 추정하기 위해 ℓ₁ 및 고유값 분산 페널티를 조합한 공동 페널티 추정기( joint penalty estimator )를 제안한다. 이 방법은 이차 손실을 최소화함으로써 동시에 희소성과 잘 조절된 성질을 달성한다. 이 방법은 계산적으로 효율적이며, 연산자 노름에서 최적이며, 시뮬레이션과 유전자 발현 분류에서 기존 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We develop a method for estimating well-conditioned and sparse covariance and inverse covariance matrices from a sample of vectors drawn from a sub-gaussian distribution in high dimensional setting. The proposed estimators are obtained by minimizing the quadratic loss function and joint penalty of `1 norm and variance of its eigenvalues. In contrast to some of the existing methods of covariance and inverse covariance matrix estimation, where often the interest is to estimate a sparse matrix, the proposed method is flexible in estimating both a sparse and well-conditioned covariance matrix simultaneously. The proposed estimators are optimal in the sense that they achieve the minimax rate of estimation in operator norm for the underlying class of covariance and inverse covariance matrices. We give a very fast algorithm for computation of these covariance and inverse covariance matrices which is easily scalable to large scale data analysis problems. The simulation study for varying sample sizes and variables shows that the proposed estimators performs better than several other estimators for various choices of structured covariance and inverse covariance matrices. We also use our proposed estimator for tumor tissues classification using gene expression data and compare its performance with some other classification methods.

연구 동기 및 목표

• 표본 수 n 이 변수 수 p 에 비해 작을 때 고차원 공분산 및 역공분산 행렬 추정의 과제를 해결한다.
• 표본 고유값의 불안정성과 과도한 산란을 해결한다. 고차원 설정에서는 표본 공분산 행렬이 악조건이 되기 때문이다.
• 공분산 행렬의 희소성과 고유값 분산을 동시에 제어하여 잘 조절된 성질을 확보함으로써 추정 정확도를 향상시킨다.
• 대규모 데이터 분석에 적합한 확장성 있고 빠른 알고리즘을 개발하여 기존 정규화 방법의 계산적 한계를 극복한다.
• 모의 구조적 공분산 설정과 실제 유전자 발현 분류 작업 모두에서 뛰어난 성능을 입증한다.

제안 방법

• 행렬 원소의 ℓ₁ 노름과 고유값의 분산에 대한 공동 페널티를 포함한 이차 손실 함수의 최소화 문제로 추정 문제를 수립한다.
• 공동 페널티를 통해 ℓ₁ 정규화에 의한 희소성와 고유값 분산에 대한 페널티에 의한 고유값 안정성을 균형 있게 조절함으로써 잘 조절된 성질을 확보한다.
• 이차 최적화 문제의 해로서 추정기를 도출하며, 이는 계산적으로 다루기 쉬우며 큰 p 및 n 에도 확장 가능하다.
• 주성분 분석, 판별 분석, 가우시안 그래픽 모델 등에 응용할 수 있도록 공분산 및 역공분산 행렬에 모두 적용한다.
• 반복적 임계값 처리와 고유값 수축 기반의 빠른 알고리즘을 구현하며, 페널티의 구조를 활용해 수렴 속도를 가속화한다.
• 최적의 성능를 확보하기 위해 5개의 교차 검증 폴드를 사용하여 정규화 파라미터 λ 와 γ 를 튜닝한다. 이는 별도의 검증 세트 없이도 훈련 데이터에서 최적의 성능를 달성하도록 한다.

실험 결과

연구 질문

• RQ1 단일 추정기가 고차원 공분산 행렬 추정에서 동시에 희소성과 잘 조절된 성질을 달성할 수 있는가?
• RQ2 ℓ₁ 노름과 고유값 분산에 대한 공동 페널티는 단일 성질에 집중하는 방법보다 추정 정확도를 어떻게 향상시키는가?
• RQ3 제안된 추정기의 이론적 성능 보장은 연산자 노름 기준 최소최대 위험에서 어떻게 보장되는가?
• RQ4 이 방법은 대규모 데이터에 어떻게 스케일링되며, 유전자 발현 분석과 같은 실제 응용에 효율적으로 구현될 수 있는가?
• RQ5 고차원 데이터에서의 분류 작업에서 그래픽 라소, 릿지 수축, 나이브 베이즈와 같은 기존 방법보다 추정기가 뛰어난 성능을 보이는가?

주요 결과

• 제안된 JPEN 추정기는 공분산 및 역공분산 행렬에 대해 연산자 노름 기준 최소최대 수렴 속도를 달성한다.
• 시뮬레이션 결과, 진짜 고유값이 크게 산란되어 있을 경우, 특히 진짜 고유값 스펙트럼과 희소 패턴을 더 잘 복원함으로써 다른 방법보다 JPEN 추정기가 뛰어난 성능을 보였다.
• 유전자 발현 데이터 분류에서 JPEN 기반의 LDA 분류기는 p=200일 때 평균 오차율 8.2%를 기록하여 로지스틱 회귀(21.5%), SVM(18.18%), 나이브 베이즈(14.63%)를 모두 능가했다.
• 기존의 역공분산 추정이 실패하는 p > n 조건에서도 이 방법은 효과적이며, p=200까지 낮은 분류 오차를 유지한다.
• 알고리즘이 계산적으로 효율적이고 확장 가능하여 대규모 데이터셋에서도 정확도를 유지하면서도 신속한 계산을 가능하게 한다.
• 추정기의 성능은 다양한 구조적 공분산 행렬에 대해 강인하며, 고유값 스펙트럼을 안정화시킴으로써 잘 조절된 성질을 유지한다.