[論文レビュー] Parameter and Structure Learning in Nested Markov Models

Ilya Shpitser, Thomas S. Richardson+2 more|arXiv (Cornell University)|Jul 20, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用数 15

ひとこと要約

本稿では、潜在変数を伴うDAGにおける等価な構造を標準的な条件付き独立性では区別できない状況において、因果構造を正確に同定できるように、条件付き独立性と後続切断独立性（固定操作に起因する等式制約）の両方を捉えるネスト型因子分解に基づく離散的パラメータ化を用いた、ネスト型マルコフモデルのパラメータ適合および構造学習アルゴリズムを提案する。主な貢献は、BICに基づく探索とスコアリング手法であり、標準的な条件付き独立性では区別できない因果構造を区別可能にし、潜在変数を伴う設定でも正確な因果同定を可能にする。

ABSTRACT

The constraints arising from DAG models with latent variables can be naturally represented by means of acyclic directed mixed graphs (ADMGs). Such graphs contain directed and bidirected arrows, and contain no directed cycles. DAGs with latent variables imply independence constraints in the distribution resulting from a 'fixing' operation, in which a joint distribution is divided by a conditional. This operation generalizes marginalizing and conditioning. Some of these constraints correspond to identifiable 'dormant' independence constraints, with the well known 'Verma constraint' as one example. Recently, models defined by a set of the constraints arising after fixing from a DAG with latents, were characterized via a recursive factorization and a nested Markov property. In addition, a parameterization was given in the discrete case. In this paper we use this parameterization to describe a parameter fitting algorithm, and a search and score structure learning algorithm for these nested Markov models. We apply our algorithms to a variety of datasets.

研究の動機と目的

• 標準的な条件付き独立性制約では不十分である、潜在変数を伴うDAGモデルにおける構造学習の課題に取り組むこと。
• 新たに確立されたネスト型因子分解に基づく、離散的ネスト型マルコフモデルのためのパラメータ適合アルゴリズムを開発すること。
• 標準的な条件付き独立性を超えてモデルの区別を高めるために、後続切断独立性制約を活用する探索とスコアリングの構造学習アルゴリズムを設計すること。
• データから真の因果構造を回復できるかを実験的に検証すること、特に標準的な条件付き独立性制約が存在しない場合にも有効であるかを検証すること。
• 4ノード混合グラフにおける同値クラスの特徴付けを仮説し、後続切断制約に基づく証拠を提供すること。

提案手法

• 標準的なマルコフおよび双方向グラフ因子分解を拡張し、後続切断独立性制約を含む、離散的ネスト型マルコフモデルのネスト型因子分解を用いる。
• 離散的パラメータ化に基づくパラメータ適合アルゴリズムを用いて、最尤推定（MLE）を実行し、モデルパラメータを推定する。
• 条件付き独立性と後続切断制約の両方を組み込んだ、BICに基づくスコア関数を用いて候補となる混合グラフ構造を評価する。
• BICスコアに従って混合グラフ空間における探索を実行し、最適なADMG構造を同定する構造学習を実施する。
• 潜在変数を伴う既知のDAGから生成されたシミュレーテッドデータセットを用いてアルゴリズムを検証し、対応するADMGを潜在変数の投影により導出する。
• Q-FITを用いて同値クラス間の対数尤度を計算し、4ノードモデルの同値性に関する仮説を検証する。

実験結果

リサーチクエスチョン

• RQ1 ネスト型因子分解に基づいて、離散的ネスト型マルコフモデルのためのパラメータ適合アルゴリズムを開発できるか？
• RQ2 標準的な条件付き独立性では区別できないモデルを、後続切断独立性制約を活用することで区別可能な探索とスコアリングの構造学習アルゴリズムを構築できるか？
• RQ3 4ノード混合グラフモデルにおける後続切断独立性制約はどれほど一般的であり、モデルの区別能力に顕著な改善をもたらすか？
• RQ4 標準的な条件付き独立性制約が存在しない状況において、提案されたアルゴリズムがデータから真のADMG構造を正しく回復できるか？
• RQ5 混合グラフの同値クラスは、共通の後続切断独立性制約によって特徴付けられるか、特に4ノード系においてはそのような特徴付けが可能か？

主な発見

• 提案されたパラメータ適合アルゴリズムは、離散的ネスト型因子分解に基づく最尤推定により、モデルパラメータを効果的に推定できた。
• BICに基づく構造学習アルゴリズムは、標準的な条件付き独立性制約が存在しないシナリオにおいても、シミュレーションデータから真のADMG構造を正しく同定できた。
• 後続切断独立性制約は稀ではない：4ノード混合グラフの同値クラスの約25％で観察され、潜在変数モデルにおいて広範な関連性を持つことが示唆された。
• 標準的な条件付き独立性では区別できないモデル、例えば図6に示される同値クラス（24個の同値クラスに5つのグラフずつ含まれる）においても、本アルゴリズムはそれらを区別できた。
• Q-FITを用いた実験的検証により、同値クラス内では対数尤度が同一であることが確認され、4ノードモデルの同値性に関する仮説が支持された。
• ネスト型因子分解と後続切断制約は、因果的解釈として「眠れる独立性」制約として解釈可能であり、潜在変数系における直接効果および結合効果の同定を可能にする。