[논문 리뷰] Parameter Priors for Directed Acyclic Graphical Models and the Characterization of Several Probability Distributions

Dan Geiger, David Heckerman|arXiv (Cornell University)|2021. 05. 05.

Bayesian Modeling and Causal Inference참고 문헌 29인용 수 102

한 줄 요약

이 논문은 DAG 모델 선택을 위한 매개변수 priors를 합리적으로 구성하는 방법을 제시하고, 폐쇄형 주변 가능도(marginal likelihood)를 도출하며, 완전 Gaussian DAG에 대해 normal-Wishart priors가 그들의 가정하에 유일하게 필요함을 보인다.

ABSTRACT

We develop simple methods for constructing parameter priors for model choice among Directed Acyclic Graphical (DAG) models. In particular, we introduce several assumptions that permit the construction of parameter priors for a large number of DAG models from a small set of assessments. We then present a method for directly computing the marginal likelihood of every DAG model given a random sample with no missing observations. We apply this methodology to Gaussian DAG models which consist of a recursive set of linear regression models. We show that the only parameter prior for complete Gaussian DAG models that satisfies our assumptions is the normal-Wishart distribution. Our analysis is based on the following new characterization of the Wishart distribution: let $W$ be an $n imes n$, $n \ge 3$, positive-definite symmetric matrix of random variables and $f(W)$ be a pdf of $W$. Then, f$(W)$ is a Wishart distribution if and only if $W_{11} - W_{12} W_{22}^{-1} W'_{12}$ is independent of $\{W_{12},W_{22}\}$ for every block partitioning $W_{11},W_{12}, W'_{12}, W_{22}$ of $W$. Similar characterizations of the normal and normal-Wishart distributions are provided as well.

연구 동기 및 목표

• DAG 모델 간의 모델 선택 문제와 체계적인 매개변수 priors의 필요성을 동기화한다.
• 일련의 가정들로부터 소수의 평가로 다수의 DAG에 대한 priors를 구성할 수 있게 한다.
• 완전한 데이터 하에서 어떤 DAG 모델에 대해 주변 가능도(marginal likelihood) 공식식을 도출한다.
• Gaussian DAG 모델에 프레임워크를 특수화하고 가정들을 만족시키는 유일한 prior로 normal-Wishart를 식별한다.
• Wishart 및 normal-Wishart 분포와 글로벌 매개변수 독립성의 이론적 특징을 연결하는 이론적 특성화를 제공한다.

제안 방법

• 완전한(DAG) 및 불완전한 DAG 모델을 정의하고, 데이터가 완전한 구조를 구분할 수 없도록 완전한 모델 등가를 가정한다.
• 가능도 모듈성(likelihood modularity), 사전 모듄성(prior modularity), 및 글로벌 매개변수 독립성(global parameter independence)을 적용하여 priors가 모델 간에 전달될 수 있도록 한다.
• 한 개의 완전한 DAG 모델에 대한 priors를 지정하면 좌표 변환을 통해 모든 DAG 모델에 대한 priors가 결정된다는 것을 보인다.
• 노드 간의 곱 분해를 이용하여 어떤 DAG 모델에 대해 주변 가능도 p(d|m^h)의 폐쇄형 표현식을 도출한다.
• Gaussian DAG에 대해 (μ, W)에 대한 normal-Wishart prior를 채택하여 사전(prior)을 특수화하고, 완전 데이터 하에서의 사후 업데이트를 도출한다.

실험 결과

연구 질문

• RQ1 Can a small set of assessments determine parameter priors for the entire space of DAG models under the stated assumptions?
• RQ2 What is the marginal likelihood computation for any DAG model with complete data?
• RQ3 Within Gaussian DAG models, what prior on (μ, W) satisfies the global parameter independence and related assumptions?
• RQ4 Do independence-equivalent DAGs share the same marginal likelihood under these assumptions?
• RQ5 How can the normal-Wishart prior be interpreted and justified in the Gaussian DAG setting?

주요 결과

• A parameter prior for every DAG model is determined from a single complete DAG model under the five assumptions.
• A compact formula computes the marginal likelihood p(d|m^h) for any DAG model by aggregating node-level terms.
• For Gaussian DAG models, the normal-Wishart distribution is the unique prior that satisfies the global parameter independence and related assumptions.
• Independence-equivalent DAG structures have the same marginal likelihood under the proposed framework.
• A new characterization links Wishart, normal, and normal-Wishart distributions to the property of global parameter independence, providing theoretical justification.
• The posterior for Gaussian complete cases remains normal-Wishart under the model, enabling tractable updates.