[논문 리뷰] Learning Latent Variable Gaussian Graphical Models

Zhaoshi Meng, Brian Eriksson외 1명|arXiv (Cornell University)|2014. 06. 10.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 23

한 줄 요약

이 논문은 고차원 데이터에서 전역 잠재因수와 국소 조건부 의존성을 모두 포착하는 잠재변수 가우시안 그래픽 모델(LVGGM)을 제안한다. 정규화된 최대우도 추정기를 사용하여 희소+저랭크 구조를 가진 정밀행렬을 추정한다. 주요 기여는 비점근적 프로베니우스 노름 오차 경계 $ olimits\left(\sqrt{\frac{(s + r_{ \text{eff}} \cdot r)\log p}{n}}\right)$ 를 도출한 것으로, 이는 고차원 설정에서 표준 밀도 GGM 비율보다 훨씬 빠르다.

ABSTRACT

Gaussian graphical models (GGM) have been widely used in many high-dimensional applications ranging from biological and financial data to recommender systems. Sparsity in GGM plays a central role both statistically and computationally. Unfortunately, real-world data often does not fit well to sparse graphical models. In this paper, we focus on a family of latent variable Gaussian graphical models (LVGGM), where the model is conditionally sparse given latent variables, but marginally non-sparse. In LVGGM, the inverse covariance matrix has a low-rank plus sparse structure, and can be learned in a regularized maximum likelihood framework. We derive novel parameter estimation error bounds for LVGGM under mild conditions in the high-dimensional setting. These results complement the existing theory on the structural learning, and open up new possibilities of using LVGGM for statistical inference.

연구 동기 및 목표

• 실제 데이터에서 관측된 상관관계가 국소 희소성으로 포착되지 않을 때 희소 가우시안 그래픽 모델의 한계를 해결하기 위해.
• 잠재인수가 유도하는 비희소 마진 정밀행렬이지만 조건부로 희소한 구조를 가지는 고차원 데이터를 모델링하기 위해.
• 고차원 설정($p \gg n$)에서 LVGGM의 매개수를 추정하기 위한 정규화된 최대우도 프레임워크를 개발하기 위해.
• 약한 구조적 조건과 비일관성 조건 하에서 정밀행렬 추정기의 이론적 오차 경계를 확립하기 위해.
• 관측 공분산행렬의 효과적 랭크가 $p$에 따라 천천히 증가하여 표준 밀도 GGM보다 더 빠른 수렴 속도를 가능하게 한다는 것을 보여주기 위해.

제안 방법

• 관측 변수가 잠재 변수에 조건부로 의존하는 다변량 가우시안 모델로 LVGGM을 설정하여, 저랭크+희소 구조를 가진 정밀행렬을 유도한다.
• 희소 성분에 대해 $\ell_1$-노름, 저랭크 성분에 대해 노름을 사용한 정규화된 최대우도 추정을 적용한다.
• 추정 일致성을 보장하기 위해 제한된 강한 볼록성 및 구조적 비일관성 조건을 적용한다.
• 로그우도의 거의 강한 볼록성과 농도 부등식을 사용하여 비점근적 오차 경계를 도출한다.
• 다양한 $p$, $r$, 전역 및 국소 효과 간 에너지 비율을 가진 LVGGM을 시뮬레이션하여 이론적 수렴 속도를 실증적으로 검증한다.
• 표본 추정치 $ olimits^*$ 및 $ olimits^*$ 를 사용하여 교차검증을 통해 정규화 매개수를 校정한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 희소+저랭크 정밀행렬을 가진 잠재변수 가우시안 그래픽 모델이 표준 밀도 GGM보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 LVGGM의 정규화된 최대우도 추정기가 어떤 조건에서 일관된 매개수 추정을 달성하는가?
• RQ3 관측 공분산행렬의 효과적 랭크는 관측 변수 수 $p$와 잠재변수 수 $r$에 따라 어떻게 첨가되는가?
• RQ4 LVGGM에서 추정된 정밀행렬의 프로베니우스 노름 오차의 이론적 수렴 속도는 무엇인가?
• RQ5 전역(잠재) 및 국소(관측) 효과의 상대 에너지가 효과적 랭크와 추정 성능에 어떤 영향을 미치는가?

주요 결과

• 정밀행렬 추정기의 프로베니우스 노름 오차는 $\mathcal{O}\left(\sqrt{\frac{(s + r_{\text{eff}} \cdot r)\log p}{n}}\right)$ 속도로 수렴하며, 이는 표준 밀도 GGM의 $\mathcal{O}\left(\sqrt{\frac{p^2\log p}{n}}\right)$ 속도보다 훨씬 빠르다.
• 공분산행렬의 효과적 랭크 $r_{\text{eff}}$ 는 $p$에 따라 매우 천천히 증가하며, 전역 인수가 약할지라도 $p$가 80에서 500으로 증가할 때 4에서 26으로 증가한다.
• 표본 크기를 $n/(s\log p + r\log(2p))$ 로 재스케일링했을 때 프로베니우스 노름 추정의 실증 오차 곡선이 이론적 $t^{-1/2}$ 스케일링과 일치함을 확인하여 유도된 수렴 속도를 검증한다.
• 제안된 정규화 매개수 $ olimits \asymp \overline{\sigma}^*\sqrt{\frac{\log p}{n}}$ 와 $ olimits \asymp \rho^*\sqrt{\frac{r_{\text{eff}}\log p}{n}}$ 는 다양한 구성에서 일관된 성능을 보인다.
• 몬테카를로 시뮬레이션을 통해 효과적 랭크가 항상 $p$보다 한 차수 이상 작다는 것이 확인되어 이론적 가정을 검증한다.
• 이론적 프레임워크는 전역 잠재인수가 마진 비희소성을 유도하지만 조건부 희소성이 유지되는 응용 분야에서 희소 GGM보다 LVGGM의 사용을 지지한다.