[논문 리뷰] An empirical $G$-Wishart prior for sparse high-dimensional Gaussian graphical models

Chang Liu, Ryan Martin|arXiv (Cornell University)|2019. 12. 09.

Statistical Methods and Inference참고 문헌 39인용 수 9

한 줄 요약

이 논문은 희박한 고차원 정규 그래픽 모델을 위한 경험적 $G$-와이시하르트 사전을 제안하며, 사전의 모드가 데이터에 의해 영향을 받음으로써 정규화 상수의 정확한 라플라스 근사가 가능해진다. 이 방법은 빠르고 확장 가능한 사후 계산을 가능하게 하며, 기존 방법에 비해 계산 효율성과 정확도를 크게 향상시키는 최적의 사후 집중률을 달성한다.

ABSTRACT

In Gaussian graphical models, the zero entries in the precision matrix determine the dependence structure, so estimating that sparse precision matrix and, thereby, learning this underlying structure, is an important and challenging problem. We propose an empirical version of the $G$-Wishart prior for sparse precision matrices, where the prior mode is informed by the data in a suitable way. Paired with a prior on the graph structure, a marginal posterior distribution for the same is obtained that takes the form of a ratio of two $G$-Wishart normalizing constants. We show that this ratio can be easily and accurately computed using a Laplace approximation, which leads to fast and efficient posterior sampling even in high-dimensions. Numerical results demonstrate the proposed method's superior performance, in terms of speed and accuracy, across a variety of settings, and theoretical support is provided in the form of a posterior concentration rate theorem.

연구 동기 및 목표

• G-와이시하르트 사전에서 정규화 상수가 계산이 불가능한 문제로 인해 발생하는 고차원 정규 그래픽 모델의 계산적 병목 현상을 해결하기 위해.
• 그래픽 콘의 최대우도推定기 위에 중심을 두는 데이터 기반 사전을 개발하여 근사 정확도를 향상시키기 위해.
• 작은 사전 정밀도 파rameter에도 불구하고 라플라스 근사를 신뢰할 수 있도록 하여 고차원에서의 효율적인 사후 샘플링을 가능하게 하기 위해.
• 제안된 경험적 사전 프레임워크 하에서 사후 집중률에 대한 이론적 근거를 확립하기 위해.
• 희박한 정밀도 행렬 추정에서 기존 베이지안 방법에 비해 속도, 정확도, 확장성 측면에서 향상된 성능을 달성하기 위해.

제안 방법

• 각 구성 요소의 모드가 $G$-특정 콘 $\mathcal{P}_G$ 내에서 정밀도 행렬의 최대우도推정기와 일치하는 그래프 $G$에 대한 혼합으로 경험적 $G$-와이시하르트 사전을 제안한다.
• 고유값의 범위를 보장하고 근사 오차를 통제하기 위해 정밀도 행렬 공간에 대해 필터 제약 조건을 적용한다.
• 그래프 구조의 주변사후에서 나타나는 $G$-와이시하르트 정규화 상수의 비율을 계산하기 위해 라플라스 근사를 사용한다.
• 로그우도의 2차 테일러 전개를 모드 주변에서 수행하여 잔여항을 고유값 노름과 행렬 섭동 이론을 사용해 경계한다.
• 워드베리 공식과 연산자 노름의 하향 곱법성을 적용하여 라플라스 근사에서 정규화 상수의 오차를 통제한다.
• 스펙트럼 분해와 고유값 경계를 사용하여 $\widehat{\Omega}^{-1}\Omega$ 의 트레이스를 경계함으로써 사후 집중률 정리 수립

실험 결과

연구 질문

• RQ1 정규화 상수가 정확한 라플라스 근사에 적합한 데이터 기반의 $G$-와이시하르트 사전을 구성할 수 있는가?
• RQ2 경험적 사전은 고차원 희박한 정규 그래픽 모델에서 더 빠르고 정확한 사후 샘플링을 이끌어낼 수 있는가?
• RQ3 희박성 가정 하에서 제안된 경험적 $G$-와이시하르트 사전의 사후 집중률은 무엇인가?
• RQ4 제안된 방법은 최대우도 그래픽 라소 및 기타 베이지안 접근법에 비해 계산 속도와 추정 정확도 측면에서 어떻게 비교되는가?
• RQ5 데이터에 의존하는 모드를 가진 경험적 사전에 대해 사후 집중에 대한 이론적 보장을 확립할 수 있는가?

주요 결과

• 제안된 경험적 $G$-와이시하르트 사전은 $G$-와이시하르트 정규화 상수의 비율에 대한 라플라스 근사를 통해 빠르고 정확한 사후 계산을 가능하게 한다.
• 이 방법은 희박성 하에서 그래픽 라소의 수렴률과 일치하는 최적의 사후 집중률을 달성한다.
• 수치 결과는 다양한 고차원 설정에서 속도와 정확도 측면에서 뛰어난 성능을 보였다.
• 라플라스 근사의 잔여항은 $O(\|\Delta\|_2^3)$ 와 $O(\|\Delta\|_2^4)$ 로 경계되어 근사의 높은 정확도를 보장한다.
• $\widehat{\Omega}^{-1}\Omega$ 의 트레이스는 $\xi^{-1}\mathrm{tr}(\Omega)$ 와 $\xi\mathrm{tr}(\Omega)$ 사이에 경계되며, 여기서 $\xi$ 는 모드 추정기의 고유값 분포를 제어한다.
• 이론적 분석은 데이터 기반 중심화 덕분에 덜 분산된 사전이라도 사후에 편향이 발생하지 않음을 확인한다.