[論文レビュー] LazyIter: A Fast Algorithm for Counting Markov Equivalent DAGs and Designing Experiments

Ali AhmadiTeshnizi, Saber Salehkaleybar+1 more|arXiv (Cornell University)|Jun 17, 2020

Advanced Graph Neural Networks被引用数 6

ひとこと要約

この論文では、単一ノードへの干渉後のDAGのマルコフ同値クラス（MEC）を反復処理する高速なアルゴリズムであるLazyIterを紹介する。これにより、MECのサイズの計算と最適な実験設計が効率的に行える。構造的類似性を活用して再計算を避けることで、スパースなグラフでは時間計算量をO(n)削減し、アクティブおよびパッシブな学習設定の両方で先行研究を上回る性能を発揮する。

ABSTRACT

The causal relationships among a set of random variables are commonly represented by a Directed Acyclic Graph (DAG), where there is a directed edge from variable $X$ to variable $Y$ if $X$ is a direct cause of $Y$. From the purely observational data, the true causal graph can be identified up to a Markov Equivalence Class (MEC), which is a set of DAGs with the same conditional independencies between the variables. The size of an MEC is a measure of complexity for recovering the true causal graph by performing interventions. We propose a method for efficient iteration over possible MECs given intervention results. We utilize the proposed method for computing MEC sizes and experiment design in active and passive learning settings. Compared to previous work for computing the size of MEC, our proposed algorithm reduces the time complexity by a factor of $O(n)$ for sparse graphs where $n$ is the number of variables in the system. Additionally, integrating our approach with dynamic programming, we design an optimal algorithm for passive experiment design. Experimental results show that our proposed algorithms for both computing the size of MEC and experiment design outperform the state of the art.

研究の動機と目的

• 単一ノード干渉後の可能なMECを反復処理する効率的な手法の開発、再計算の削減。
• 従来の動的計画法よりも効率的にマルコフ同値クラス（MEC）のサイズを計算する。
• 因果構造同定のためのアクティブおよびパッシブな学習設定における最適な実験選択戦略の設計。
• 最悪ケースのパッシブ実験設計に対する、初めての正確で効率的な動的計画法の提供。
• 先行研究と比較して、密なおよびスパースなグラフにおけるスケーラビリティとパフォーマンスの向上。

提案手法

• LazyIterは、ノードをルートとして固定し、類似するMEC間でエッジの向きのパターンを再利用することで、可能な干渉結果を反復処理する。
• アルゴリズムは本質的グラフの構造を活用し、新しい候補DAGを生成するために最小限のエッジの再向きにのみ依存する。
• MECサイズの計算には、LazyIterと動的計画法を併用し、MEC内のDAG数を効率的に計算する。
• パッシブ学習では、新しいDP定式化が導入され、DP[S][T]は部分グラフS内でTに属するノードに干渉した後の最小の有向エッジ数を表す。
• DPの再帰関係は、ルートノードの可能な干渉結果をすべて探索し、連結成分からの結果を統合するためにLazyIterを活用する。
• 目的関数として、残存する無向エッジ数の最小化とMECサイズの削減の最大化の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 再計算を避けるためにエッジの向きを再計算しないで、単一ノード干渉後のすべての可能なMECを効率的に反復処理できるか？
• RQ2 MEC間の構造的類似性を活用することで、MECサイズ計算の時間計算量を削減できるか？
• RQ3 因果同定における最悪ケースのパッシブ実験設計に対して、正確で効率的なアルゴリズムを設計できるか？
• RQ4 スパースおよび密なグラフにおけるスケーラビリティの観点で、LazyIterのパフォーマンスは先行手法と比べてどうか？
• RQ5 提案手法は、アクティブおよびパッシブな学習設定において、ヒューリスティックおよび近似ベースの手法を上回れるか？

主な発見

• スパースなグラフでは、従来の動的計画法と比較して、MECサイズ計算の時間計算量がO(n)削減される。
• LazyCount（MECサイズ計算の変種）は、密なグラフにおいてMemoMAO（最先端）を大きく上回る性能を発揮し、スパースなグラフでは類似した性能を示すが、密なグラフでは顕著な性能差を示す。
• LazyIterに基づくアクティブ学習アルゴリズムは、干渉ターゲット選択において、先行手法（例：Hauser & Bühlmann, 2014）と比較して最大O(n)倍速い。
• 提案されたDPベースのパッシブ学習アルゴリズムは、最悪ケースの実験設計に対して初めての正確な手法であり、RandomおよびMaxDegreeヒューリスティクスを上回り、グラフの順序が増加するにつれて顕著に優位性を示す。
• パッシブ学習において、予算およびグラフの順序が増加するにつれて、エッジ同定比が著しく向上し、アルゴリズムのスケーラビリティと有効性を示している。
• 多様なグラフの順序およびエッジ密度において、すべてのテスト設定でベースラインと比較して一貫した性能向上を達成している。