[논문 리뷰] Bayesian Estimation of Gaussian Graphical Models with Projection Predictive Selection

Donald R. Williams, Juho Piironen외 2명|arXiv (Cornell University)|2018. 01. 17.

Bayesian Modeling and Causal Inference인용 수 7

한 줄 요약

이 논문은 투영 예측 변수 선택을 사용하여 조건부 통일성 구조를 식별하는 새로운 베이지안 방법을 제안한다. 예측 밀도 투영을 활용함으로써, 특히 p ≈ n 인 고차원 설정에서 기존의 및 다른 베이지안 추정기들과 비교해 유의미하게 더 낮은 거칠기 위험과 더 적은 가짜 양성 결과를 달성한다.

ABSTRACT

Gaussian graphical models are used for determining conditional relationships between variables. This is accomplished by identifying off-diagonal elements in the inverse-covariance matrix that are non-zero. When the ratio of variables (p) to observations (n) approaches one, the maximum likelihood estimator of the covariance matrix becomes unstable and requires shrinkage estimation. Whereas several classical (frequentist) methods have been introduced to address this issue, Bayesian methods remain relatively uncommon in practice and methodological literatures. Here we introduce a Bayesian method for estimating sparse matrices, in which conditional relationships are determined with projection predictive selection. Through simulation and an applied example, we demonstrate that the proposed method often outperforms both classical and alternative Bayesian estimators with respect to frequentist risk and consistently made the fewest false positives.We end by discussing limitations and future directions, as well as contributions to the Bayesian literature on the topic of sparsity.

연구 동기 및 목표

• p ≈ n 인 고차원 가우시안 그래픽 모델에서 최대우도 추정의 불안정성 문제를 해결하기 위해.
• 역공분산행렬에 대한 희박성 구조를 효과적으로 유도하여 조건부 통일성 관계를 식별하는 베이지안 접근법을 개발하기 위해.
• 기존의 기술적 및 베이지안 방법들과 비교해 추정 정확도를 향상시키고 가짜 양성 결과를 줄이기 위해.
• 희박 그래픽 모델에 대한 베이지안 문헌에 새로운 원칙적인 방법을 기여하기 위해.

제안 방법

• 정밀도 행렬에 대한 희박한 구조 학습을 허용하기 위해 희박한 사전을 사용하는 베이지안 추정을 수행한다.
• 전체 모델을 부분 모델에 투영하여 가장 관련성이 높은 조건부 통일성 관계를 식별하기 위해 투영 예측 선택을 적용한다.
• 예측 밀도의 발산을 기반으로 하는 순차적 선택 과정을 통해 예측 성능을 최대한 유지하면서 변수를 반복적으로 선택한다.
• 모든 변수를 포함하는 기준 모델을 사용하고, 이를 중첩된 부분 모델에 투영하여 최적의 희박한 구조를 식별한다.
• 전체 모델과 감소된 모델의 예측 밀도 간의 쿨백-라이블러 발산을 통해 변수 중요도를 측정한다.
• 최소한의 예측 손실을 유지하면서 희박성을 극대화하는 방식으로 최종 모델을 선택한다.

실험 결과

연구 질문

• RQ1 제안된 베이지안 투영 예측 선택 방법은 기존의 및 다른 베이지안 추정기들과 비교해 유의미한 거칠기 위험 측면에서 어떻게 성능을 발휘하는가?
• RQ2 고차원 가우시안 그래픽 모델에서 이 방법은 얼마나 많은 가짜 양성 간선 탐지 결과를 줄일 수 있는가?
• RQ3 p ≈ n 일 때 이 방법은 항상 올바른 조건부 통일성 구조를 식별할 수 있는가?
• RQ4 이 방법의 성능은 다양한 데이터 생성 메커니즘과 희박 수준에서 어떻게 달라지는가?

주요 결과

• 제안된 방법은 시뮬레이션 시나리오 전반에서 기존의 기술적 및 다른 베이지안 추정기들과 비교해 일관되게 낮은 유의미한 거칠기 위험을 달성했다.
• 특히 고차원 설정에서 경쟁 방법들보다 유의미하게 더 적은 가짜 양성 간선 탐지 결과를 보였다.
• 중간에서 높은 희박성을 가진 다양한 데이터 생성 메커니즘에서도 견고한 성능을 보였다.
• 투영 예측 선택은 효과적인 모델 단순화를 가능하게 하였고, 이로 인해 더 해석 가능하고 안정적인 그래픽 모델이 도출되었다.
• 특히 변수 수가 관측 수에 가까워질 경우, 선택 정확도 측면에서 경쟁 방법들을 능가하였다.
• 유의미한 해석 가능성과 신뢰성 향상을 바탕으로, 유의미한 희박성 구조 학습을 위한 유의미한 베이지안 대안을 제공하였다.