[論文レビュー] Parameter Priors for Directed Acyclic Graphical Models and the Characterization of Several Probability Distributions

Dan Geiger, David Heckerman|arXiv (Cornell University)|May 5, 2021

Bayesian Modeling and Causal Inference参考文献 29被引用数 102

ひとこと要約

この論文は、DAGモデル選択のためのパラメータ事前分布を構築するための体系的な方法を提示し、閉じた形の周辺尤度を導出し、完全Gaussian DAGに対しては彼らの仮定の下でnormal-Wishart事前分布が唯一要求されることを示している。

ABSTRACT

We develop simple methods for constructing parameter priors for model choice among Directed Acyclic Graphical (DAG) models. In particular, we introduce several assumptions that permit the construction of parameter priors for a large number of DAG models from a small set of assessments. We then present a method for directly computing the marginal likelihood of every DAG model given a random sample with no missing observations. We apply this methodology to Gaussian DAG models which consist of a recursive set of linear regression models. We show that the only parameter prior for complete Gaussian DAG models that satisfies our assumptions is the normal-Wishart distribution. Our analysis is based on the following new characterization of the Wishart distribution: let $W$ be an $n \times n$, $n \ge 3$, positive-definite symmetric matrix of random variables and $f(W)$ be a pdf of $W$. Then, f$(W)$ is a Wishart distribution if and only if $W_{11} - W_{12} W_{22}^{-1} W'_{12}$ is independent of $\{W_{12},W_{22}\}$ for every block partitioning $W_{11},W_{12}, W'_{12}, W_{22}$ of $W$. Similar characterizations of the normal and normal-Wishart distributions are provided as well.

研究の動機と目的

• DAGモデル間のモデル選択の問題と、理論的根拠に基づくパラメータ事前分布の必要性を動機づける。
• 少数の評価から多くのDAGに対する事前分布を構築できる仮定のセットを提案する。
• 完全データの下で任意のDAGモデルの周辺尤度の式を導出する。
• ガウスDAGモデルにフレームワークを特化し、仮定を満たす唯一の事前分布として normal-Wishart を同定する。
• Wishart分布とnormal-Wishart分布を世界的パラメータ独立性と結びつける理論的特徴付けを提供する。

提案手法

• 完全DAGモデルと不完全DAGモデルを定義し、完全モデル同等性を仮定してデータが完全な構造を識別できないようにする。
• 尤度モジュラリティ、事前分布モジュラリティ、およびグローバルパラメータ独立性を課して、事前分布をモデル間で移転可能にする。
• 1つの完全DAGモデルの事前分布を指定することが、座標変換を通じてすべてのDAGモデルの事前分布を決定することを示す。
• ノードごとの積分分解を用いて、任意のDAGモデルに対する周辺尤度 p(d|m^h) の閉形式表現を導出する。
• ガウスDAGに事前分布を特化し、(μ, W) に対して normal-Wishart事前分布を採用して、完全データ下の事後更新を導出する。

実験結果

リサーチクエスチョン

• RQ1 前提条件の下で、少数の評価セットがDAGモデル全空間のパラメータ事前分布を決定できるか？
• RQ2 完全データを持つ任意のDAGモデルの周辺尤度の計算はどうなるか？
• RQ3 ガウスDAGモデルの範囲で、(μ, W) に対してグローバルパラメータ独立性と関連仮定を満たす事前分布は何か？
• RQ4 これらの仮定の下で、独立性同値性を満たすDAGは同じ周辺尤度を共有するか？
• RQ5 ガウスDAG設定を前提としたとき、normal-Wishart事前分布をどのように解釈し正当化できるか？

主な発見

• 5つの仮定の下で、すべてのDAGモデルのパラメータ事前分布は1つの完全DAGモデルから決定される。
• ノードレベルの項を集約して、任意のDAGモデルに対する周辺尤度 p(d|m^h) を計算するコンパクトな式。
• ガウスDAGモデルでは、global parameter independenceと関連仮定を満たす唯一の事前分布は normal-Wishart 分布である。
• 提案された枠組みの下で、独立性同値なDAG構造は同じ周辺尤度を有する。
• Wishart、normal、normal-Wishart分布を、グローバルパラメータ独立性の性質と結びつける新しい特徴付けが理論的正当性を提供する。
• ガウス完全ケースの事後はモデル下で依然としてnormal-Wishartとなり、更新が計算上扱いやすい。