[論文レビュー] Learning Causal Graphs with Small Interventions

Karthikeyan Shanmugam, Murat Kocaoglu+2 more|arXiv (Cornell University)|Oct 30, 2015

Bayesian Modeling and Causal Inference参考文献 11被引用数 19

ひとこと要約

本稿は、制限された干渉サイズを持つ因果DAGを学習するための新しい決定的適応アルゴリズムを提案する。弦的グラフ構造とMeek規則を活用することで、ほぼ最適な性能を達成する。完全グラフにおいても分離系が必須であることを証明し、より単純なほぼ最適な分離系構成法を導入し、シミュレーションにより従来手法と比較してはるかに少ない干渉回数（情報理論的下界に近い）で学習可能であることを示している。

ABSTRACT

We consider the problem of learning causal networks with interventions, when each intervention is limited in size under Pearl's Structural Equation Model with independent errors (SEM-IE). The objective is to minimize the number of experiments to discover the causal directions of all the edges in a causal graph. Previous work has focused on the use of separating systems for complete graphs for this task. We prove that any deterministic adaptive algorithm needs to be a separating system in order to learn complete graphs in the worst case. In addition, we present a novel separating system construction, whose size is close to optimal and is arguably simpler than previous work in combinatorics. We also develop a novel information theoretic lower bound on the number of interventions that applies in full generality, including for randomized adaptive learning algorithms. For general chordal graphs, we derive worst case lower bounds on the number of interventions. Building on observations about induced trees, we give a new deterministic adaptive algorithm to learn directions on any chordal skeleton completely. In the worst case, our achievable scheme is an $α$-approximation algorithm where $α$ is the independence number of the graph. We also show that there exist graph classes for which the sufficient number of experiments is close to the lower bound. In the other extreme, there are graph classes for which the required number of experiments is multiplicatively $α$ away from our lower bound. In simulations, our algorithm almost always performs very close to the lower bound, while the approach based on separating systems for complete graphs is significantly worse for random chordal graphs.

研究の動機と目的

• 各干渉がk個の変数に制限される場合に、因果DAGを学習するために必要な干渉回数を最小化すること。
• 適応性がある場合でも、最悪ケースにおいて分離系に要する干渉回数を下回れるかという未解決の問題を解消すること。
• 弦的因果グラフスケルトンに対して実用的で効率的なアルゴリズムを開発し、理論的下界に近く性能を発揮すること。
• 決定的および確率的適応的アルゴリズムの両方に対する、より厳しい情報理論的および組合せ的下界を確立すること。
• 提案手法の性能を、ランダムな弦的グラフ上で既存の分離系に基づく手法と比較すること。

提案手法

• 任意の決定的適応的アルゴリズムが、完全グラフを学習するには(n,k)-分離系を必要とする、という事実を証明し、適応性があっても分離系の必要性が保たれることを示した。
• 既存の構成よりも単純で、既知の下界に近く、より広範な組合せ的応用が期待できる(n,k)-分離系の新規構成法を提案した。
• 確率的適応的アルゴリズムに対する一般化された情報理論的下界Ω(n/(2k))を導出し、干渉サイズの上限を考慮した既存結果の拡張を達成した。
• 干渉後にMeek規則を繰り返し適用する手法を組み合わせた、木構造の特徴を活用する新しい決定的適応アルゴリズムを設計した。
• 弦的スケルトンの彩色数χ(G)を主要パラメータとして用い、必要な干渉回数をα-近似（αは独立数）で抑え、性能を保証した。
• 完全消去順序と誘導木に基づく再帰的削除戦略を用い、各実験で因果的方向を最大限に特定できるように干渉選択をガイドした。

実験結果

リサーチクエスチョン

• RQ1 完全グラフにおいて、最悪ケースにおいて適応性があることで分離系の要件を下回る干渉回数にできるか？
• RQ2 干渉サイズが制限される状況において、より単純でほぼ最適な分離系構成法を開発できるか？
• RQ3 干渉サイズが制限される確率的適応的アルゴリズムの干渉回数に対する、最もタイトな情報理論的下界は何か？
• RQ4 弦的構造に基づく新しい適応的アルゴリズムの性能は、ランダムな弦的グラフ上で既存の分離系に基づく手法と比べてどうか？
• RQ5 下界に非常に近い干渉回数を要するグラフクラスと、はるかに悪い性能を示すグラフクラスは存在するか？

主な発見

• 任意の決定的適応的アルゴリズムが完全グラフを学習するには(n,k)-分離系を必要とするため、適応性があっても最悪ケースの要件は非適応的分離系の要件を下回らないことが証明された。
• 提案された分離系構成法は、従来のものよりも単純で、既知の下界に近く、実用的および理論的利点を兼ね備えている。
• 確率的適応的アルゴリズムでは、高確率でO(n/k log log k)回の干渉（サイズはk以下）で十分であり、情報理論的下界はΩ(n/(2k))である。
• ランダムな弦的グラフにおいて、χ=100、k=10の場合、提案手法は最大で約40回の干渉で十分であるのに対し、ナイーブな分離系ベース手法では約130回必要となり、顕著な実験的優位性を示した。
• 新しいアルゴリズムは、χ(G)に基づく理論的下界の小さな定数倍の性能を達成している一方、分離系ベース手法はn/kに比例して増加し、スパarsなグラフではχ/kよりもはるかに大きい。
• 2つの極端なグラフクラスを同定した：1つは干渉回数が下界に非常に近いもので、もう1つは下界のΩ(α)倍に達するもので、グラフ構造が性能に与える影響を強調した。