[論文レビュー] High dimensional Bayesian inference for Gaussian directed acyclic graph models

Emanuel Ben‐David, Tianxi Li+2 more|arXiv (Cornell University)|Sep 20, 2011

Bayesian Modeling and Causal Inference参考文献 10被引用数 24

ひとこと要約

本稿では、高次元ガウス指向付き無環グラフ（DAG）モデルにおける共役事前分布としてのDAG-ウィシャルト分布を導入し、ハイパーマルコフ性質を活用してスケーラブルなベイズ推論を可能にする。この手法により、事後モーメントの閉形式が得られ、Lasso-DAGなど既存の手法と比較して、特に高次元において共分散推定およびモデル選択の性能が優れている。

ABSTRACT

In this paper, we consider Gaussian models Markov with respect to an arbitrary DAG. We first construct a family of conjugate priors for the Cholesky parametrization of the covariance matrix of such models. This family has as many shape parameters as the DAG has vertices, and naturally extends the work of Geiger and Heckerman [8]. From these distributions, we derive prior distributions for the covariance and precision parameters of the Gaussian DAG Markov models. Our works thus extends the work of Dawid and Lauritzen [5] and Letac and Massam [16] for Gaussian models Markov with respect to a decomposable graph to arbitrary DAGs. For this reason, we call our distributions DAG-Wishart distributions. An advantage of these distributions is that they possess strong hyper Markov properties and thus allow for explicit estimation of the covariance and precision parameters, regardless of the dimension of the problem. They also allow us to develop methodology for model selection and covariance estimation in the space of DAG-Markov models. We demonstrate via several numerical examples that the proposed method scales well to high-dimensions.

研究の動機と目的

• 分解可能または完全DAGにとどまらないガウスDAGモデルの統一的ベイズ枠組みの構築。
• 非分解可能DAGにおける共分散および精度行列の曲がった多様体上に適切な事前分布を定義する課題の解決。
• ハイパーマルコフ性質と共役事前分布を活用して、高次元における事後分布計算を可能にする。
• 高次元設定におけるスケーラブルなモデル選択および共分散推定を促進する。
• 任意のDAGに一般化されたハイパーインバースウィシャルトおよびLetac-MassamのIW_P_G分布の一般化。

提案手法

• 共分散行列のコレスキー分解空間に、各DAG頂点ごとに1つの形状パラメータを持つ共役事前分布の族を定義する。
• コレスキー空間上にDAG-ウィシャルト分布を構築し、事後計算のための強力なハイパーマルコフ性を保証する。
• 同相写像を用いて、コレスキーに基づくDAG-ウィシャルト分布を不完全精度および共分散行列の空間へ、ユークリッド空間に写像する。
• 精度および共分散パrameterizationにおけるDAG-ウィシャルトの明示的確率密度関数を導出し、事後モーメントの閉形式を可能にする。
• 行列補完アルゴリズムを用いて、不完全表現から完全な精度および共分散行列を回復する。
• DAG-ウィシャルト事前分布を高次元DAG-マークフ過程のモデル選択および共分散推定に適用する。

実験結果

リサーチクエスチョン

• RQ1 分解可能または完全DAGにとどまらない任意のDAG構造をもつガウスDAGモデルに対して、共役事前分布をどのように構築できるか。
• RQ2 非分解可能DAGにおける共分散行列の曲がった多様体上に、ハイパーマルコフ性質を保ったまま事前分布を定義できるか。
• RQ3 提案されたDAG-ウィシャルト事前分布は、既存の手法と比較して、高次元における事後推論をどの程度改善するか。
• RQ4 Lasso-DAGなどの頻度主義的手法と比較して、DAG-ウィシャルト事前分布はモデル選択および共分散推定においてどの程度の性能を示すか。
• RQ5 DAG-ウィシャルトフレームワークは、数千変数に達する高次元問題に対しても、効果的にスケーリングできるか。

主な発見

• DAG-ウィシャルト分布はガウスDAGモデルの共役事前分布であり、強力なハイパーマルコフ性を有しており、閉形式の事後計算を可能にする。
• シミュレーションにより、最大500変数の設定でも、本手法が高次元問題に対して効果的にスケーリングできることを示している。
• コールセンターデータ例では、DAG-W-Precision推定器の平均二乗誤差（MSE）は123.438であり、Naive-MLE（172.976）およびLassoDAG-MLE（166.138）よりも顕著に低い。
• コールセンタープレディクションタスクにおいて、DAG-W-MLE推定器は全51時間間隔においてLassoDAG-MLEを上回り、優れたモデル選択性能を示した。
• DAG-ウィシャルト事前分布下でのベイズ推定器、特にDAG-W-Precisionは、L1およびL2損失指標の両方において、MLEおよびLasso-DAGに対して一貫した改善を示した。
• 本研究で提案されたフレームワークは、従来のハイパーインバースウィシャルトおよびIW_P_G分布の研究を、完全DAGに限らない任意のDAGへ一般化した。