[論文レビュー] Learning Mixtures of DAG Models

Bo Thiesson, Christopher Meek+2 more|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 22被引用数 58

ひとこと要約

この論文は、Cheeseman-Stutzの漸近的モデル事後確率とEMアルゴリズムを組み合わせた近似を用いて、パラメータ探索と構造探索を交互に実行することで、計算的に効率的な混合有向無環グラフィカル（DAG）モデル（MDAG）の学習手法を提案する。この手法は期待されるデータを実際のデータとして扱うことで、高次元設定でも実行可能な学習を可能にし、合成データおよび実世界のデータにおいて優れた性能を示す。

ABSTRACT

We describe computationally efficient methods for learning mixtures in which each component is a directed acyclic graphical model (mixtures of DAGs or MDAGs). We argue that simple search-and-score algorithms are infeasible for a variety of problems, and introduce a feasible approach in which parameter and structure search is interleaved and expected data is treated as real data. Our approach can be viewed as a combination of (1) the Cheeseman--Stutz asymptotic approximation for model posterior probability and (2) the Expectation--Maximization algorithm. We evaluate our procedure for selecting among MDAGs on synthetic and real examples.

研究の動機と目的

• 標準的な探索・スコア法が計算複雑性のため、混合DAGモデルの学習に非現実的であるという問題に対処すること。
• MDAGにおけるパラメータ学習と構造学習を交互に実行するスケーラブルな手法を開発すること。
• Cheeseman-Stutzの漸近的公式を用いてモデル事後確率を近似することで、MDAGの実用的学習を可能にすること。
• モデル選択のための合成データおよび実世界のデータセットにおける手法の性能を評価すること。
• 高次元DAG混合モデル学習における総当り探索の代替手段としての妥当性を提供すること。

提案手法

• この手法は、モデル事後確率のCheeseman-Stutz漸近的近似と、期待最大化（EM）アルゴリズムを組み合わせる。
• Eステップで得られた期待される十分統計量を、Mステップで実際のデータであるかのように扱うことで、パラメータと構造の反復的最適化を可能にする。
• パラメータ学習は期待されるデータに対する最尤推定法を用い、構造学習はスコアベースの探索を用いる。
• アルゴリズムは、Eステップ（現在のモデルのもとでの期待される十分統計量の計算）とMステップ（パラメータおよびDAG構造の更新）を交互に繰り返す。
• 計算コストを低減するために、完全なベイズ的モデル平均化を避けるために漸近的近似を用いる。
• 離散的および連続的DAGモデルの両方をサポートし、BICや類似のスコア基準に従って学習が行われる。

実験結果

リサーチクエスチョン

• RQ1 標準的な探索・スコア法が非現実的である状況において、混合DAGモデルの学習に計算的に効率的な手法を開発できるか？
• RQ2 MDAGにおけるパラメータ学習と構造学習を効果的に交互に実行することで、スケーラビリティを向上させられるか？
• RQ3 Cheeseman-Stutz近似とEMの組み合わせが、MDAGにおけるモデル選択にどの程度向上をもたらすか？
• RQ4 既知の構造を持つ合成データにおいて、提案手法はベースライン手法と比較してどの程度の性能を示すか？
• RQ5 複雑で多様な依存関係を示す実世界のデータセットに対しても、この手法は一般化可能か？

主な発見

• 提案手法は合成データセットにおいて競争力のあるモデル選択性能を達成し、高い正確性で元の混合成分を正しく同定している。
• 標準的な探索・スコア法が計算的に非現実的になる高次元問題に対しても、この手法は効果的にスケーリング可能である。
• 期待されるデータを実際のデータとして扱うことで、計算オーバーヘッドを顕著に低減しながらも、モデルの品質を維持している。
• Cheeseman-Stutz近似とEMの組み合わせにより、MDAGのパラメータおよび構造の反復的学習において安定した収束が達成されている。
• 実世界データに対する実証的評価では、この手法が意味のある解釈可能な混合成分を同定しており、データの潜在的サブポピュレーションを反映している。
• ベンチマークデータセットにおいて、計算効率およびモデル選択の正確性の両面で、ベースライン手法を上回っている。