[論文レビュー] Characterizing Distribution Equivalence and Structure Learning for Cyclic and Acyclic Directed Graphs

AmirEmad Ghassami, Alan Yang+2 more|arXiv (Cornell University)|Oct 28, 2019

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿は、循環的・非循環的を問わず線形ガウス指向グラフィカルモデルにおける分布同等性の統一的定義を提示する。2つの構造が同じデータ分布の集合を生成する場合に同等と定義する。Givens回転を用いた代数的および図的技法により同等性を特徴づけ、観測的同定可能性のためのより弱い概念である準同等性を提案し、従来の手法と比較して、非循環的および循環的構造の両方を著しく改善して回復できるスコアベースの局所探索アルゴリズムを設計する。

ABSTRACT

The main approach to defining equivalence among acyclic directed causal graphical models is based on the conditional independence relationships in the distributions that the causal models can generate, in terms of the Markov equivalence. However, it is known that when cycles are allowed in the causal structure, conditional independence may not be a suitable notion for equivalence of two structures, as it does not reflect all the information in the distribution that is useful for identification of the underlying structure. In this paper, we present a general, unified notion of equivalence for linear Gaussian causal directed graphical models, whether they are cyclic or acyclic. In our proposed definition of equivalence, two structures are equivalent if they can generate the same set of data distributions. We also propose a weaker notion of equivalence called quasi-equivalence, which we show is the extent of identifiability from observational data. We propose analytic as well as graphical methods for characterizing the equivalence of two structures. Additionally, we propose a score-based method for learning the structure from observational data, which successfully deals with both acyclic and cyclic structures.

研究の動機と目的

• 循環的指向グラフィカルモデルに対する一般化された同等性特徴づけの欠如を解消すること。
• 分布に基づく基準の下で非循環的および循環的構造の両方の同等性定義を統一すること。
• より弱い準同等性という概念を用いて、観測データからの同定可能性の範囲を特定する手法を開発すること。
• 従来のDAG中心の手法に制限されない、サイクルを含む構造を学習可能なスコアベースの局所探索アルゴリズムを設計すること。

提案手法

• 分布同等性の定義を提案：2つの構造が同じデータ分布の集合を生成する場合に同等と定義する。
• Givens回転を、非循環的および循環的両ケースに適用可能な同等性特徴づけの中心的代数的道具として導入する。
• Givens変換下での構造的不変量に基づく、同等性の図的特徴づけを開発する。
• 観測データからの最大同定可能性を捉えるために、より弱い同等性の概念である準同等性を導入する。
• 三角形の構造を変更する新しい探索演算子を備えたスコアベースの局所探索アルゴリズムを設計し、同等構造への収束を改善する。
• 最大強連結部分グラフ（MSCS）における同時分布の因数分解を適用し、構造探索中の効率的なスコア更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 循環的および非循環的線形ガウス指向グラフィカルモデルに対して、統一的同等性概念を定義できるか？
• RQ2 観測データから、循環的および非循環的構造はどの程度区別可能であり、同定可能性の根本的限界は何か？
• RQ3 構造学習アルゴリズムは、循環的および非循環的モデルの探索空間を効果的に探索できるようにどのように適合できるか？
• RQ4 サイクルが存在する状況でも、漸近的同定可能性を達成できるスコアベースの局所探索法を設計できるか？

主な発見

• 5変数の循環的例において、新規の探索演算子を備えた本手法は89%の試行で同等構造を回復したが、標準的なタブー探索では0%であった。
• 第二の実験では、改善された手法が83%の同等構造回復を達成したのに対し、ベースライン手法は45%にとどまった。
• スコアベース手法は、準同等性で定義された同定可能性の範囲に漸近的に到達し、理論的整合性を確認した。
• Givens回転の使用により、従来の非循環的モデルにおけるマルコフ同等性を包含・拡張する包括的かつ簡潔な同等性特徴づけが可能になった。
• 最大強連結部分グラフに沿った尤度の因数分解により、局所的スコア更新が可能となり、計算効率が維持された。
• サンプルサイズが増加するにつれて性能が向上し、$ε_0$-正則化局所探索では$n$が$10^3$から$10^5$に増加するに従い顕著な向上が見られた。