[논문 리뷰] Inverse Covariance Estimation for High-Dimensional Data in Linear Time and Space: Spectral Methods for Riccati and Sparse Models

Jean Honorio, Tommi Jaakkola|arXiv (Cornell University)|2013. 09. 26.

Bayesian Modeling and Causal Inference참고 문헌 29인용 수 8

한 줄 요약

이 논문은 고차원 정규 그래픽 모델에서 역공분산 추정을 위해 ℓ₁ 페널티를 유도하지 않는 가우시안(ℓ₂²) 사전분포를 사용하는 스펙트럼 방법을 제안한다. 문제는 특이값 분해(SVD)로 해결 가능한 리카티 행렬 방정식으로 공식화되며, O(NT²)-시간 및 O(NT)-공간 복잡도를 달성한다. 스팁드 공분산 모델 하에서 성능 보장이 있는 전체 정규화 경로를 제공한다.

ABSTRACT

We propose maximum likelihood estimation for learning Gaussian graphical models with a Gaussian (ell_2^2) prior on the parameters. This is in contrast to the commonly used Laplace (ell_1) prior for encouraging sparseness. We show that our optimization problem leads to a Riccati matrix equation, which has a closed form solution. We propose an efficient algorithm that performs a singular value decomposition of the training data. Our algorithm is O(NT^2)-time and O(NT)-space for N variables and T samples. Our method is tailored to high-dimensional problems (N gg T), in which sparseness promoting methods become intractable. Furthermore, instead of obtaining a single solution for a specific regularization parameter, our algorithm finds the whole solution path. We show that the method has logarithmic sample complexity under the spiked covariance model. We also propose sparsification of the dense solution with provable performance guarantees. We provide techniques for using our learnt models, such as removing unimportant variables, computing likelihoods and conditional distributions. Finally, we show promising results in several gene expressions datasets.

연구 동기 및 목표

• 고차원 설정(N ≫ T)에서 ℓ₁-페널티를 통한 희박성 유도 방법의 계산 불가능성 문제를 해결하기 위해.
• ℓ₁ 정규화를 피하고 매개변수에 대해 가우시안(ℓ₂²) 사전분포를 사용하는 스케일링 가능하고 효율적인 최대우도 추정 알고리즘을 개발하기 위해.
• 고정된 λ에 대한 단일 해가 아니라 모든 정규화 매개변수에 대한 해 경로를 제공하기 위해.
• 변수 선택, 우도 계산, 조건부 분포 추정을 통해 실용적인 모델 사용을 가능하게 하기 위해.
• 스파iked 공분산 모델 하에서 로그 샘플 복잡도를 확립하고, 조밀한 해의 희박화에 대한 보장된 성능을 제공하기 위해.

제안 방법

• ℓ₂² 사전분포를 갖는 최대우도 문제로 역공분산 추정을 공식화하여, 리카티 행렬 방정식을 도출한다.
• 학습 데이터 행렬의 특이값 분해(SVD)를 통해 리카티 방정식을 해결하여 닫힌 형태의 해를 도출한다.
• 표본 수 T와 변수 수 N에 대해 선형적으로 확장되는 스펙트럼 분해 접근법을 적용하여, O(NT²) 시간 및 O(NT) 공간 복잡도를 달성한다.
• 리카티 방정식의 구조를 활용해 재최적화 없이도 모든 정규화 매개변수에 대한 연속적인 해 경로를 유도한다.
• 오차 한계에 대한 이론적 보장을 갖는 희박화 절차를 도입한다.
• 학습된 조밀한 역공분산 공분산 행렬을 사용해 우도 평가, 조건부 분포, 변수 선택 등의 후행 작업을 수행한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 ℓ₁ 정규화에 의존하지 않고도 역공분산 추정을 효율적으로 수행할 수 있는가?
• RQ2 리카티 방정식에 기반한 스펙트럼 방법이 고차원 역공분산 추정에 대해 선형 시간 및 선형 공간 계산을 가능하게 하는가?
• RQ3 반복적인 재최적화 없이도 전체 정규화 경로를 효율적으로 계산할 수 있는가?
• RQ4 스파iked 공분산 모델 하에서 제안된 방법의 샘플 복잡도는 어떻게 되는가?
• RQ5 조밀한 해는 보장된 성능 보장을 갖는 희박화가 가능한가?

주요 결과

• 제안된 알고리즘은 O(NT²)-시간 및 O(NT)-공간 복잡도를 달성하여 고차원 데이터(N ≫ T)에 대해 확장 가능하다.
• 모든 정규화 매개변수에 대한 완전한 해 경로를 제공하여 재최적화 없이도 탄력적인 모델 선택이 가능하다.
• 스파iked 공분산 모델 하에서 로그 샘플 복잡도를 나타내어 강력한 통계적 효율성을 보인다.
• 조밀한 역공분산 해는 보장된 오차 한계를 갖는 희박화가 가능하며, 모델 정확도를 유지하면서 복잡도를 감소시킨다.
• 유전자 발현 데이터셋에 대한 실험적 평가에서 전통적인 ℓ₁ 기반 방법보다 고차원 영역에서 유망한 성능을 보였다.
• 우도 계산, 조건부 분포, 변수 중요도 순위 매기기 등의 실용적 모델 사용을 지원한다.