[논문 리뷰] Bayesian Estimation of Gaussian Graphical Models with Predictive Covariance Selection

Donald R. Williams, Juho Piironen외 2명|arXiv (Cornell University)|2018. 01. 17.

Bayesian Modeling and Causal Inference참고 문헌 36인용 수 8

한 줄 요약

이 논문은 Kullback-Leibler 발산과 교차검증을 통해 조건부 인적 구조를 식별하는 투영 예측 선택을 사용하여 희박한 가우시안 그래픽 모델을 추정하는 새로운 베이지안 방법을 제안한다. 기존의 베이지안 모델 평균화, 최대 사후 추정, 그리고 그래픽 라소와 TIGER와 같은 고전적 방법들과 비교할 때, 특히 고차원 설정에서 희박성, 정확도, 효율성 면에서 뛰어난 성능을 보인다.

ABSTRACT

Gaussian graphical models are used for determining conditional relationships between variables. This is accomplished by identifying off-diagonal elements in the inverse-covariance matrix that are non-zero. When the ratio of variables (p) to observations (n) approaches one, the maximum likelihood estimator of the covariance matrix becomes unstable and requires shrinkage estimation. Whereas several classical (frequentist) methods have been introduced to address this issue, fully Bayesian methods remain relatively uncommon in practice and methodological literatures. Here we introduce a Bayesian method for estimating sparse matrices, in which conditional relationships are determined with projection predictive selection. With this method, that uses Kullback-Leibler divergence and cross-validation for neighborhood selection, we reconstruct the inverse-covariance matrix in both low and high-dimensional settings. Through simulation and applied examples, we characterized performance compared to several Bayesian methods and the graphical lasso, in addition to TIGER that similarly estimates the inverse-covariance matrix with regression. Our results demonstrate that projection predictive selection not only has superior performance compared to selecting the most probable model and Bayesian model averaging, particularly for high-dimensional data, but also compared to the the Bayesian and classical glasso methods. Further, we show that estimating the inverse-covariance matrix with multiple regression is often more accurate, with respect to various loss functions, and efficient than direct estimation. In low-dimensional settings, we demonstrate that projection predictive selection also provides competitive performance. We have implemented the projection predictive method for covariance selection in the R package GGMprojpred

연구 동기 및 목표

• 관측 수(n)가 변수 수(p)에 가까워지거나 초과할 때 역공분산 행렬의 최대우도 추정에서의 불안정성을 해결하기 위해.
• 고차원 설정에서 기존 방법들을 개선하는 완전한 베이지안 공분산 선택 방법을 개발하기 위해.
• 투영 예측 선택의 성능을 베이지안 모델 평균화, 최대 사후 추정, 그리고 고전적 방법들인 그래픽 라소와 TIGER와 비교하기 위해.
• 투영을 통한 회귀 기반 정밀도 행렬 추정이 직접 추정보다 정확도와 계산 효율성 면에서 더 낫다는 것을 보여주기 위해.

제안 방법

• 예측 성능을 가장 잘 유지하는 변수를 반복적으로 선택함으로써, 투영 예측 선택을 사용하여 비영인 부분상관관계를 식별한다.
• 예측 정확도 평가 및 이웃 선택을 위한 Kullback-Leibler 발산과 교차검증을 활용한다.
• 각 변수를 나머지 모든 변수에 대해 회귀시켜 다중 회귀 모델을 통해 역공분산 행렬을 추정하고, 회귀 계수를 기반으로 조건부 의존성을 유추한다.
• 선택된 예측 성능에 기반하여 회귀 계수를 0으로 설정하는 의사결정 규칙을 적용하여 희박성을 달성하면서 정보 손실 최소화를 이룬다.
• 투영 후 비정규행렬 예측을 수정하여 유효한 정밀도 행렬을 확보한다.
• 실용적 적용과 재현 가능성을 위해 R 패키지 GGMprojpred에 이 방법을 구현한다.

실험 결과

연구 질문

• RQ1 고차원 가우시안 그래픽 모델에서 투영 예측 선택이 예측 정확도와 희박성 면에서 베이지안 모델 평균화와 최대 사후 추정보다 어떻게 비교되는가?
• RQ2 정밀도 행렬의 회귀 기반 추정이 직접 추정보다 정확도와 계산 효율성 면에서 더 낫게 작용할 수 있는가?
• RQ3 Kullback-Leibler 발산과 제곱 손실을 포함한 다양한 손실 함수에서, 투영 예측 선택의 성능은 저차원 및 고차원 설정에서 어떻게 달라지는가?
• RQ4 진짜 그래프가 희박할 경우, 투영 예측 선택이 다른 방법들보다 거짓 양성 간선을 얼마나 줄이는가?
• RQ5 고전적 방법들인 그래픽 라소와 TIGER와 비교할 때, 진짜 조건부 인적 구조를 회복하는 데에 이 방법은 어떻게 성능을 보이는가?

주요 결과

• 투영 예측 선택은 Kullback-Leibler 발산과 로그 스코어 면에서 베이지안 모델 평균화와 최대 사후 추정을 모두 능가하는 뛰어난 성능을 보였으며, 특히 고차원 설정에서 두드러졌다.
• 선택된 정보가 가장 유용한 특성들만 포함되므로 민감도는 낮지만, 다른 접근법보다 더 희박하고 해석이 쉬운 그래픽 구조를 생성했으며, 거짓 양성도 적었다.
• 투영을 통한 정밀도 행렬의 회귀 기반 추정은 역공분산 행렬의 직접 추정보다 더 정확하고 계산 효율성이 뛰어났다.
• 저차원 설정에서도 투영 예측 선택은 경쟁 가능한 성능을 보였으며, 다양한 데이터 환경에서의 강건성을 입증했다.
• 특히 고차원 조건에서, 고전적 TIGER 및 glasso 방법보다 정밀도 행렬 추정이 더 정확했다.
• 항상 양의 정부정행렬을 보장하지는 않지만, 후처리 수정을 통해 직접 추정 및 고전적 회귀 기반 방법보다 더 정확한 추정치를 도출했다.