[논문 리뷰] High dimensional Bayesian inference for Gaussian directed acyclic graph models

Emanuel Ben‐David, Tianxi Li외 2명|arXiv (Cornell University)|2011. 09. 20.

Bayesian Modeling and Causal Inference참고 문헌 10인용 수 24

한 줄 요약

이 논문은 고차원 정규 방향 비순환 그래프(DAG) 모델을 위한 공액 사전분포인 DAG-Wishart 분포를 소개한다. 이는 초모델 성질을 통해 확장 가능한 베이지안 추론을 가능하게 하며, 후행 모멘트의 닫힌 형태를 제공한다. 기존의 Lasso-DAG와 같은 접근 방식보다도 공분산 추정 및 모델 선택에서 더 뛰어난 성능을 보이며, 특히 고차원에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we consider Gaussian models Markov with respect to an arbitrary DAG. We first construct a family of conjugate priors for the Cholesky parametrization of the covariance matrix of such models. This family has as many shape parameters as the DAG has vertices, and naturally extends the work of Geiger and Heckerman [8]. From these distributions, we derive prior distributions for the covariance and precision parameters of the Gaussian DAG Markov models. Our works thus extends the work of Dawid and Lauritzen [5] and Letac and Massam [16] for Gaussian models Markov with respect to a decomposable graph to arbitrary DAGs. For this reason, we call our distributions DAG-Wishart distributions. An advantage of these distributions is that they possess strong hyper Markov properties and thus allow for explicit estimation of the covariance and precision parameters, regardless of the dimension of the problem. They also allow us to develop methodology for model selection and covariance estimation in the space of DAG-Markov models. We demonstrate via several numerical examples that the proposed method scales well to high-dimensions.

연구 동기 및 목표

• 분해 가능하거나 완전한 DAG가 아닌 경우에도 확장 가능한 고차원 정규 DAG 모델을 위한 통합된 베이지안 프레임워크를 개발한다.
• 비분해 가능 DAG에서 공분산 및 정밀도 행렬의 곡선 다양체 위에 적절한 사전분포를 정의하는 문제를 해결한다.
• 초모델 성질과 공액 사전분포를 활용하여 고차원 사후 계산을 가능하게 한다.
• 고차원 환경에서의 확장 가능한 모델 선택 및 공분산 추정을 촉진한다.
• 초모델 성질을 갖는 일반화된 초역행 위샤르트 및 Letac-Massam의 IW_P_G 분포를 임의의 DAG로 일반화한다.

제안 방법

• 공분산 행렬의 콜레스키 분해 공간에 대해, 각 DAG 정점당 하나의 형태 매개변수를 갖는 공액 사전분포의 가족을 정의한다.
• 콜레스키 공간에서 DAG-Wishart 분포를 구성하여, 후행 계산이 가능하도록 강력한 초모델 성질을 확보한다.
• 등급사상(이sovormorphism)을 통해 콜레스키 기반 DAG-Wishart를 완전하지 않은 정밀도 및 공분산 행렬 공간으로 매핑하여 유클리드 공간으로 변환한다.
• 정밀도 및 공분산 매개변수화에 대한 DAG-Wishart의 명시적 밀도를 유도하여, 후행 모멘트의 닫힌 형태를 가능하게 한다.
• 행렬 완성 알고리즘을 사용하여 불완전한 표현에서 전체 정밀도 및 공분산 행렬을 복원한다.
• DAG-Wishart 사전분포를 고차원 DAG-Markov 모델에서의 모델 선택 및 공분산 추정에 적용한다.

실험 결과

연구 질문

• RQ1 분해 가능하거나 완전한 DAG가 아닌 일반적인 DAG의 정규 DAG 모델에 대해 공액 사전분포를 어떻게 구성할 수 있는가?
• RQ2 비분해 가능 DAG에서 공분산 행렬의 곡선 다양체 위에 초모델 성질을 유지하면서 사전분포를 정의할 수 있는가?
• RQ3 제안된 DAG-Wishart 사전분포는 기존 방법에 비해 고차원 사후 추론에서 어느 정도 향상되는가?
• RQ4 Lasso-DAG와 같은 최빈추정 기반의 빈도주의 방법과 비교했을 때, DAG-Wishart 사전분포는 모델 선택 및 공분산 추정에서 어떻게 성능을 발휘하는가?
• RQ5 DAG-Wishart 프레임워크는 수천 개의 변수를 포함하는 고차원 문제에 대해 효과적으로 확장 가능한가?

주요 결과

• DAG-Wishart 분포는 정규 DAG 모델에 대한 공액 사전분포이며, 강력한 초모델 성질을 지녀 닫힌 형태의 사후 계산이 가능하다.
• 모의 실험에서 최대 500개의 변수를 포함한 사례에서 효과적으로 고차원 문제에 확장 가능함을 입증하였다.
• 콜 센터 데이터 예시에서 DAG-W-Precision 추정기는 평균 제곱오차(MSE)가 123.438로, Naive-MLE(172.976) 및 LassoDAG-MLE(166.138)보다 유의미하게 낮았다.
• 콜 센터 예측 과제에서 51개의 시간 간격 전역적으로 DAG-W-MLE 추정기가 LassoDAG-MLE를 모두 초월하여, 더 뛰어난 모델 선택 성능을 보였다.
• DAG-Wishart 사전분포 하의 베이즈 추정기, 특히 DAG-W-Precision는 L1 및 L2 손실 지표에서 MLE 및 Lasso-DAG에 비해 일관된 개선을 보였다.
• 제안된 프레임워크는 이전의 초역행 위샤르트 및 IW_P_G 분포의 일반화를 완전한 DAG가 아닌 임의의 DAG로 확장하였다.