[논문 리뷰] Bayesian Inference in Sparse Gaussian Graphical Models

Peter Orchard, Felix Agakov외 1명|arXiv (Cornell University)|2013. 09. 27.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 6

한 줄 요약

이 논문은 희박한 가우시안 그래픽 모델(GGM)에 대한 두 가지 효율적인 베이지안 추론 방법을 제안한다: 최적화된 블록 깁스 샘플러와 GWishart 분포를 위한 새로운 해밀토니안 몬테카를로(HMC) 샘플러이다. HMC 접근법은 블록 깁스보다 훨씬 더 빠른 믹싱 속도와 높은 유효 표본 크기를 달성하여, 동일한 계산 예산 내에서도 최대우도 추정 기반의 빈도주의 그래픽 라소보다 예측 정확도가 뛰어난 완전한 베이지안 추론을 가능하게 한다.

ABSTRACT

One of the fundamental tasks of science is to find explainable relationships between observed phenomena. One approach to this task that has received attention in recent years is based on probabilistic graphical modelling with sparsity constraints on model structures. In this paper, we describe two new approaches to Bayesian inference of sparse structures of Gaussian graphical models (GGMs). One is based on a simple modification of the cutting-edge block Gibbs sampler for sparse GGMs, which results in significant computational gains in high dimensions. The other method is based on a specific construction of the Hamiltonian Monte Carlo sampler, which results in further significant improvements. We compare our fully Bayesian approaches with the popular regularisation-based graphical LASSO, and demonstrate significant advantages of the Bayesian treatment under the same computing costs. We apply the methods to a broad range of simulated data sets, and a real-life financial data set.

연구 동기 및 목표

• 희박한 가우시안 그래픽 모델(GGM)에 대해 빈도주의 정규화 기반 접근법(예: 그래픽 라소)을 능가할 수 있는 더 빠르고 효율적인 베이지안 추론 방법을 개발하는 것.
• 고차원 설정에서 확장 가능한 베이지안 GGM 추론을 제한하는 GWishart 샘플링의 계산적 병목 현상을 해결하는 것.
• 완전한 베이지안 방법이 최대우도 추정(MAP) 기반 방법(예: 그래픽 라소)보다도 동일한 시간 제약 조건 하에서도 예측 성능이 뛰어나다는 것을 보여주는 것.
• 맞춤형 MCMC 기법을 통해 샘플링 효율성을 향상시켜 고차원, 복잡한 베이지안 GGM의 실용적 활용을 가능하게 하는 것.

제안 방법

• 최대 클리크 재계산에 소요되는 시간을 줄이기 위해 커버링 세트 선택 전략을 최적화한 수정된 블록 깁스 샘플러를 제안하여 고차원 GGM 추론에서의 효율성을 향상시킨다.
• GWishart 분포를 위한 해밀토니안 몬테카를로(HMC) 샘플러를 개발하였으며, 믹싱 속도 향상과 샘플 간 상관도 감소를 위해 신중하게 선택한 질량 행렬을 활용한다.
• HMC에서 대각 행렬 질량 행렬을 사용하여 다양한 GWishart 분포에 잘 적응되며, 단계 크기 파ameter 재조정이 최소화된다.
• 그래프 구조와 정밀도 행렬에 대한 공동 사후 분포 샘플링 프레임워크에 HMC 샘플러를 통합하여 모델 구조와 매개변수에 대한 완전한 베이지안 추론을 가능하게 한다.
• HMC와 블록 깁스 샘플러를 사용하여 테스트 로그우도의 사후 기대값을 계산하고, 동일한 시간 예산 하에서 그래픽 라소와의 예측 성능을 비교한다.
• Neal(2010)이 권장하는 65% 근처의 수용률을 유지하기 위해 단계 크기 적응 전략을 도입하여 사후 분포의 효율적 탐색을 보장한다.

실험 결과

연구 질문

• RQ1 동일한 계산 예산 내에서, 빈도주의 그래픽 라소와 비교해 베이지안 추론이 예측 정확도에서 뛰어나게 되는가?
• RQ2 GWishart 샘플링의 효율성을 어떻게 향상시켜 고차원 설정에서 완전한 베이지안 GGM 추론의 확장성을 높일 수 있는가?
• RQ3 베이지안 GGM에서 사후 분포의 전체 정보를 활용할 경우, 특히 고변동성 또는 복잡한 의존성 구조에서 그래픽 라소에서 사용하는 MAP 추정보다 성능이 뛰어나지 않는가?
• RQ4 GWishart 분포를 위한 해밀토니안 몬테카를로 샘플러를 효과적으로 설계할 수 있으며, 유효 표본 크기와 수렴 속도 측면에서 블록 깁스보다 뚜렷이 뛰어나게 되는가?
• RQ5 제안된 샘플러는 실세계 금융 데이터에서, 특히 시장 변동성 증가 기간 동안의 구조적 변화를 효과적으로 포착하는가?

주요 결과

• HMC 샘플러는 유효 표본 크기(ESS)를 초 단위로 측정했을 때 블록 깁스 샘플러보다 유의미하게 높게 기록되어 믹싱 속도가 더 빠르고 사후 분포 탐색이 더 효율적임을 시사한다.
• 그래픽 라소가 계산을 완료한 시점에서, 베이지안 HMC 방법은 $(-5.19 \pm 0.33) \times 10^4$의 테스트 로그우도를 기록했으며, 이는 그래픽 라소의 $(-6.28 \pm 0.51) \times 10^4$보다 유의미하게 높은 성능을 보였다.
• 특히 고시장 변동성 기간 동안, 로그우도 차이도표에 VIX 지수를 겹쳐 표시한 결과, 베이지안 GGM이 그래픽 라소를 능가하는 것으로 나타났다.
• 최적화된 커버링 세트 선택 전략 덕분에 블록 깁스 샘플러의 실용성이 향상되었으며, 그래프 업데이트 시 최대 클리크 재계산에 소요되는 시간이 감소했다.
• 베이지안 모델이 최대우도 해가 아닌 전체 사후 분포를 활용함으로써, 비정상적 또는 고분산 조건에서도 더 견고하고 정확한 예측이 가능했다.
• 대각 질량 행렬의 선택 덕분에 HMC 샘플러의 성능이 다양한 GWishart 분포에서 안정적이었으며, 단계 크기 파ameter를 재조정 없이도 재사용할 수 있었다.