[논문 리뷰] Bayes Regularized Graphical Model Estimation in High Dimensions

Suprateek Kundu, Veera Baladandayuthapani외 1명|arXiv (Cornell University)|2013. 08. 19.

Statistical Methods and Inference참고 문헌 40인용 수 5

한 줄 요약

이 논문은 정밀도 행렬에 연속적인 수축 사전분포를 적용하여 모델 피팅과 공분산 선택을 분리함으로써 고차원 데이터에 대한 확장 가능한 베이지안 그래픽 모델 추정 방법을 제안한다. 공액 게이브스 샘플링을 가능하게 하기 위해 정밀도 행렬에 연속적인 수축 사전분포를 사용하고, 이후에 공동 페널티가 부여된 신뢰구역을 통한 후처리 단계에서 이웃 선택을 수행함으로써 渐近적 그래프 선택 일致성과 실제 암 유전체 분석 데이터에서 기존의 베이지안 경쟁자들보다 뛰어난 성능을 달성한다.

ABSTRACT

There has been an intense development of Bayes graphical model estimation approaches over the past decade - however, most of the existing methods are restricted to moderate dimensions. We propose a novel approach suitable for high dimensional settings, by decoupling model fitting and covariance selection. First, a full model based on a complete graph is fit under novel class of continuous shrinkage priors on the precision matrix elements, which induces shrinkage under an equivalence with Cholesky-based regularization while enabling conjugate updates of entire precision matrices. Subsequently, we propose a post-fitting graphical model estimation step which proceeds using penalized joint credible regions to perform neighborhood selection sequentially for each node. The posterior computation proceeds using straightforward fully Gibbs sampling, and the approach is scalable to high dimensions. The proposed approach is shown to be asymptotically consistent in estimating the graph structure for fixed $p$ when the truth is a Gaussian graphical model. Simulations show that our approach compares favorably with Bayesian competitors both in terms of graphical model estimation and computational efficiency. We apply our methods to high dimensional gene expression and microRNA datasets in cancer genomics.

연구 동기 및 목표

• 고차원 그래픽 모델에서 그래프 공간의 지수적 증가로 인해 기존의 역전이 가능한 MCMC의 계산 불가능성을 해결하기 위해.
• 고차원 설정에서 이산 혼합 사전분포와 히우리스틱적 후처리 방법의 한계를 극복하기 위해.
• 정밀도 행렬 추정과 그래프 구조 선택을 분리함으로써 확장 가능하고 일관된 베이지안 접근법을 개발하기 위해.
• 고정된 $p$ 설정에서 고차원 설정에서 가우시안 그래픽 모델에 대해 점점 더 일관된 선택을 보장하기 위해.
• 기존의 베이지안 방법들보다 고차원 데이터 응용에서 계산 효율성과 추정 정확도를 향상시키기 위해.

제안 방법

• 정밀도 행렬 원소에 대해 새로운 유형의 연속적인 수축 사전분포를 적용하여 완전 그래프 위에서 전체 그래픽 모델을 피팅한다.
• 콜레스키 기반 정규화와의 등가성 덕분에 전체 정밀도 행렬에 대해 공액 게이브스 업데이트를 가능하게 한다.
• 이 과정을 두 단계로 분리한다: 첫째, 수축 사전분포를 사용한 전체 모델 피팅; 둘째, 후처리 단계에서의 이웃 선택.
• 각 노드에 대해 공동 페널티가 부여된 신뢰구역을 통한 이웃 선택을 수행하여 희박한 그래프 추정을 가능하게 한다.
• 후처리 단계에서의 간단한 완전 게이브스 샘플링을 통해 사후 분포 계산을 수행함으로써 고차원에 대한 확장성을 확보한다.
• 콜레스키 분해의 조건부 회귀 표현을 활용하여 사후 샘플링과 이웃 선택을 연결한다.

실험 결과

연구 질문

• RQ1 기존의 MCMC 기반 방법이 그래프 공간의 폭발로 인해 실패하는 고차원 설정에서 베이지안 그래픽 모델은 일관적으로 추정될 수 있는가?
• RQ2 정밀도 행렬 추정과 그래프 구조 선택을 분리함으로써 계산 확장성과 추정 정확도가 향상되는가?
• RQ3 정밀도 행렬에 대한 연속적인 수축 사전분포가 공액 업데이트를 가능하게 하면서도 선택 일관성을 유지할 수 있는가?
• RQ4 공동 페널티가 부여된 신뢰구역을 통한 후처리 단계의 이웃 선택이 그래프 구조 복원에 대해 渐近적으로 일관적인가?
• RQ5 기존의 베이지안 경쟁자들과 비교했을 때 이 방법은 고차원 데이터에서 그래프 추정 정확도와 계산 효율성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 진짜 모델이 가우시안 그래픽 모델일 경우 고정된 $p$ 설정에서 제안된 방법은 그래프 구조에 대해 점점 더 일관된 선택을 달성한다.
• 시뮬레이션 결과, 이 방법은 그래프 구조 추정 정확도와 계산 효율성 측면에서 기존의 베이지안 경쟁자들을 능가한다.
• 이 방법은 고차원에까지 확장 가능하며, 암 유전체 분석에서 유전자 발현 및 미세소RNA 데이터셋에 성공적으로 적용되었다.
• 연속적인 수축 사전분포의 사용으로 공액 게이브스 업데이트가 가능해져 복잡한 MCMC 이동이나 후처리 히우리스틱이 필요 없어진다.
• 공동 페널티가 부여된 신뢰구역을 통한 후처리 단계의 이웃 선택은 $n \to \infty$일 때 진짜 그래프 구조를 높은 확률로 효과적으로 복원한다.
• 이 방법은 사전분포 민감도에 대해 강건하며, 비분해 가능한 그래프에서 $G$-와이시어트나 역전이 가능한 MCMC의 계산 부담을 피한다.