[논문 리뷰] Generalized Hyper Markov laws for directed acyclic graphs

Emanuel Ben‐David, Bala Rajaratnam|arXiv (Cornell University)|2011. 09. 20.

Bayesian Modeling and Causal Inference인용 수 3

한 줄 요약

이 논문은 일반적인 DAG에 대해 일반화된 초 마르코프 법칙을 갖는 가우시안 방향 비순환 그래프(DAG) 모델을 위한 공액 사전분포인 DAG-Wishart 분포를 도입한다. 코レス키 분해를 활용함으로써 강력한 초 마르코프 성질을 유지하면서도 효율적인 공분산 및 정밀도 추정이 가능해져, 확장 가능한 고차원 모델 선택 및 추론을 지원한다.

ABSTRACT

In this paper, we consider Gaussian models Markov with respect to an arbitrary DAG. We first construct a family of conjugate priors for the Cholesky parametrization of the covariance matrix of such models. This family has as many shape parameters as the DAG has vertices, and naturally extends the work of Geiger and Heckerman [8]. From these distributions, we derive prior distributions for the covariance and precision parameters of the Gaussian DAG Markov models. Our works thus extends the work of Dawid and Lauritzen [5] and Letac and Massam [16] for Gaussian models Markov with respect to a decomposable graph to arbitrary DAGs. For this reason, we call our distributions DAG-Wishart distributions. An advantage of these distributions is that they possess strong hyper Markov properties and thus allow for explicit estimation of the covariance and precision parameters, regardless of the dimension of the problem. They also allow us to develop methodology for model selection and covariance estimation in the space of DAG-Markov models. We demonstrate via several numerical examples that the proposed method scales well to high-dimensions.

연구 동기 및 목표

• 분해 가능 그래프를 초월하여 임의의 방향 비순환 그래프(DAG)로까지 확장된 가우시안 그래픽 모델을 위한 공액 사전분포를 확장하는 것.
• DAG-마르코프 모델에서 공분산 및 정밀도 행렬에 대한 사전분포 가족을 개발하여 강력한 초 마르코프 성질을 유지하는 것.
• 모델 차원에 관계없이 공분산 및 정밀도 매개변수의 명시적 추정을 가능하게 하는 것.
• 원칙적인 사전 분포 프레임워크를 통해 DAG-마르코프 모델 공간에서의 모델 선택 및 공분산 추정을 지원하는 것.

제안 방법

• DAG의 각 정점당 하나의 형태 매개변수를 갖는 공분산 행렬의 코レス키 분해를 위한 공액 사전분포 가족을 구성하는 것.
• 코レス키 기반 사전분포 가족에서 공분산 및 정밀도 행렬에 대한 사전분포를 유도하는 것.
• 결과적으로 도출된 DAG-Wishart 분포가 강력한 초 마르코프 성질을 만족함을 입증하여, 공액성과 간편한 사후분포 계산을 보장하는 것.
• DAG의 구조를 활용하여 조건부 독립 제약 조건을 정의하고, 이를 통해 사전분포 설정에 유용하며 그래프의 마르코프 성질과의 호환성을 확보하는 것.
• 공액 구조를 활용하여 분석적 사후 업데이트를 가능하게 하고 고차원 추론에 대한 효율적 샘플링 또는 최적화를 지원하는 것.
• 복잡한 조건부 독립 구조를 갖는 고차원 DAG 모델을 포함한 수치 예제를 통해 확장성의 가능성을 입증하는 것.

실험 결과

연구 질문

• RQ1 분해 가능 케이스를 초월하여 임의의 그래프 구조를 갖는 가우시안 DAG 모델에 대해 공액 사전분포를 어떻게 구성할 수 있는가?
• RQ2 비분해 가능 DAG에서 강력한 초 마르코프 행동을 보장하기 위해 사전분포가 만족해야 할 조건은 무엇인가?
• RQ3 고차원 DAG-마르코프 모델에서 공분산 및 정밀도 매개변수 추정을 동시에 지원할 수 있는 사전분포 프레임워크를 개발할 수 있는가?
• RQ4 이러한 사전분포가 고차원 설정에서 효율적인 모델 선택 및 사후분포 계산을 어느 정도 가능하게 하는가?

주요 결과

• 제안된 DAG-Wishart 분포는 Dawid와 Lauritzen [5] 및 Letac과 Massam [16]의 연구를 분해 가능한 경우에서 임의의 DAG로 일반화한다.
• 사전분포 가족은 DAG의 정점 수만큼의 형태 매개변수를 갖으며, 이는 영향력 있고 구조적인 사전분포 설정을 가능하게 한다.
• 이 분포들은 강력한 초 마르코프 성질을 지녀, 사후 업데이트 과정에서 조건부 독립 제약 조건이 유지되고 명시적 추정이 가능함을 보장한다.
• 복잡한 DAG 구조를 포함한 수치 예제를 통해 고차원 문제에 대해 효과적으로 확장 가능함을 입증하였다.
• 이 프레임워크는 DAG-마르코프 모델의 통합 공액 베이지안 프레임워크 내에서 공분산 및 정밀도 행렬 추정을 동시에 지원한다.
• 매개변수 공간에 일관된 사전분포를 제공함으로써 DAG-마르코프 모델 공간에서의 강력한 모델 선택을 가능하게 한다.