[論文レビュー] Identifiability Assumptions and Algorithm for Directed Graphical Models with Feedback

Gunwoong Park, Garvesh Raskutti|arXiv (Cornell University)|Feb 14, 2016

Bayesian Modeling and Causal Inference参考文献 22被引用数 4

ひとこと要約

本稿は、方向性循環グラフィカル（DCG）モデルにおける識別可能性のための2つの新しい仮定——最大d分離ルール（MDR）とスパースなマルコフ表現（SMR）——を導入し、忠実性仮定のより弱い代替案を提供する。MDR仮定は理論的に忠実性よりも厳密に弱く、シミュレーションにおいてより信頼性の高いスケルトン回復を可能にし、小規模なDCGモデルにおいて忠実性に基づくアルゴリズムを上回る性能を示す。

ABSTRACT

Directed graphical models provide a useful framework for modeling causal or directional relationships for multivariate data. Prior work has largely focused on identifiability and search algorithms for directed acyclic graphical (DAG) models. In many applications, feedback naturally arises and directed graphical models that permit cycles occur. In this paper we address the issue of identifiability for general directed cyclic graphical (DCG) models satisfying the Markov assumption. In particular, in addition to the faithfulness assumption which has already been introduced for cyclic models, we introduce two new identifiability assumptions, one based on selecting the model with the fewest edges and the other based on selecting the DCG model that entails the maximum number of d-separation rules. We provide theoretical results comparing these assumptions which show that: (1) selecting models with the largest number of d-separation rules is strictly weaker than the faithfulness assumption; (2) unlike for DAG models, selecting models with the fewest edges does not necessarily result in a milder assumption than the faithfulness assumption. We also provide connections between our two new principles and minimality assumptions. We use our identifiability assumptions to develop search algorithms for small-scale DCG models. Our simulation study supports our theoretical results, showing that the algorithms based on our two new principles generally out-perform algorithms based on the faithfulness assumption in terms of selecting the true skeleton for DCG models.

研究の動機と目的

• フィードバックループを有するシステムに一般的な方向性循環グラフィカル（DCG）モデルにおけるモデル識別可能性の課題に取り組む。
• 実際のデータ、特に限られたデータにおいてはほとんど満たされないが、過剰に制限的である忠実性仮定の限界を克服する。
• DCGのモデル回復を保証するが、より穏やかで理論的根拠を持つ識別可能性仮定を構築する。
• 新しい仮定に基づく探索アルゴリズムを設計し、最先端の手法と比較してその性能を評価する。
• シミュレーションにより、提案されたアルゴリズムが忠実性に基づく手法よりも、真のグラフスケルトンをより信頼性高く回復できることを示す。

提案手法

• DAGにおけるスパースなマルコフ表現（SMR）およびフリーガルティ（frugality）仮定をDCGに適応し、新たな識別可能性基準として提案する。
• 最大d分離ルール（MDR）仮定を導入し、d分離ルールを最も多く含むDCGモデルを選択する。
• MDR、SMR、忠実性、最小性仮定を理論的に比較し、MDRが忠実性よりも厳密に弱いがP最小性よりも強いことを示す。
• MDRおよびSMR仮定を用いてDCGのマルコフ同値クラスを網羅的探索により回復するための探索アルゴリズム（アルゴリズム1）を開発する。
• 条件付き独立性の推定に、有意水準α = 0.001のフィッシャーの条件付き相関検定を用い、スケルトン回復の根拠とする。
• サンプルサイズ（n ∈ {100, 200, 500, 1000}）と期待される近傍サイズ（1〜4）を変化させた合成データを用いて、小規模なDCGにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 方向性循環グラフィカル（DCG）モデルにおいて、最大d分離ルール（MDR）仮定は忠実性仮定よりも厳密に弱いか？
• RQ2 SMRおよびMDR仮定は、DCGにおける忠実性および最小性仮定と比較して、強さの点でどのように異なるか？
• RQ3 MDRおよびSMR仮定に基づくアルゴリズムは、忠実性に基づく手法よりも真のスケルトンをより信頼性高く回復できるか？
• RQ4 MDRおよびSMRに基づくアルゴリズムの実効的性能は、小規模なDCGにおける最先端手法（FCI+およびGES）と比較してどうなるか？
• RQ5 サンプルサイズおよびグラフ密度の変化に伴い、各識別可能性仮定（CFC、MDR、SMR、P最小性）を満たすDCGモデルの割合はどのように変化するか？

主な発見

• MDR仮定は忠実性仮定よりも厳密に弱く、より広いクラスのDCGモデルに適用可能である。
• SMR仮定はP最小性仮定よりも強いが、忠実性仮定よりも弱い、識別するモデルの集合の観点で評価される。
• シミュレーションの結果、MDRおよびSMRに基づくアルゴリズムは、すべてのサンプルサイズおよび近傍サイズにおいて、FCI+アルゴリズムを上回るスケルトン回復の正確性を示した。
• 密度の高いグラフでは、GESアルゴリズムが密な構造を好むため他の手法を上回るが、循環グラフを正しく回復できない。
• MDR仮定を満たすモデルの割合は、忠実性を満たす割合より大きく、P最小性を満たす割合より小さいことから、仮定の強さの理論的順序が確認された。
• サンプルサイズが増加するにつれて、条件付き独立性検定の誤差が減少するため、各仮定を満たすモデルの割合も増加した。