[論文レビュー] Learning LWF Chain Graphs: A Markov Blanket Discovery Approach

Mohammad Ali Javidian, Marco Valtorta+1 more|arXiv (Cornell University)|May 29, 2020

Bayesian Modeling and Causal Inference被引用数 6

ひとこと要約

本稿では、LWFチェーングラフに対する新しいマルコフブラックケット発見フレームワークを提案する。これは、Grow-ShrinkおよびIAMBアルゴリズムをこのクラスのグラフィカルモデルへと拡張したものであり、忠実性および因果的十分性の仮定の下で、これらのアルゴリズムが依然として妥当であることを証明する。これにより、高次元設定下でも最新の手法（例：LCD）と競合する性能を示す、スケーラブルな制約ベースのLWFチェーングラフ構造学習が可能になる。

ABSTRACT

This paper provides a graphical characterization of Markov blankets in chain graphs (CGs) under the Lauritzen-Wermuth-Frydenberg (LWF) interpretation. The characterization is different from the well-known one for Bayesian networks and generalizes it. We provide a novel scalable and sound algorithm for Markov blanket discovery in LWF CGs and prove that the Grow-Shrink algorithm, the IAMB algorithm, and its variants are still correct for Markov blanket discovery in LWF CGs under the same assumptions as for Bayesian networks. We provide a sound and scalable constraint-based framework for learning the structure of LWF CGs from faithful causally sufficient data and prove its correctness when the Markov blanket discovery algorithms in this paper are used. Our proposed algorithms compare positively/competitively against the state-of-the-art LCD (Learn Chain graphs via Decomposition) algorithm, depending on the algorithm that is used for Markov blanket discovery. Our proposed algorithms make a broad range of inference/learning problems computationally tractable and more reliable because they exploit locality.

研究の動機と目的

• LWFチェーングラフにおけるマルコフブラックケットの図的特徴付けを提示すること。これはベイジアンネットワークとは異なる。
• 忠実性および因果的十分性の仮定がベイジアンネットワークと同一である場合に、LWF CGにおけるマルコフブラックケット発見のためのGrow-ShrinkおよびIAMBアルゴリズムを拡張すること。
• 提案されたマルコフブラックケット発見アルゴリズムを用いた場合に、妥当かつスケーラブルなLWF CG構造学習のための制約ベースのフレームワークを構築すること。
• マルコフブラックケット発見が個々の変数ごとに独立して行えることを示し、大規模データにおける並列処理を可能にすること。
• 提案手法が、さまざまなサンプルサイズおよび評価指標において、最新のLCDアルゴリズムと同等またはそれ以上の性能を達成できることを示すこと。

提案手法

• 条件付き独立性検定を用いて、LWFチェーングラフにおけるマルコフブラックケット発見のための新しいアルゴリズムMBC-CSPを提案する。
• LWF CGにおける局所的構造および条件付き独立性の性質を活用することで、Grow-Shrink（GSMB）およびIAMBアルゴリズムをLWF CGに適応させる。
• 忠実性および因果的十分性の仮定の下で、GSMBおよびIAMBがLWF CGに対して理論的に妥当であることを確立する。
• 各変数のマルコフブラックケット発見に帰着される、効率的なマルコフブラックケット発見を活用するグローバル構造学習フレームワークを導入する。
• 個々のマルコフブラックケットを独立して学習し、その後統合して一貫性のあるLWF CGを構築するモジュラーなアプローチを採用する。
• 条件付き独立性の制約ベースのテストを用いて発見プロセスをガイドし、指定された仮定の下で正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 LWFチェーングラフにおけるマルコフブラックケットの概念を形式的に特徴づける方法は何か？また、ベイジアンネットワークの場合とはどのように異なるか？
• RQ2 Grow-ShrinkやIAMBのような既存のマルコフブラックケット発見アルゴリズムをLWF CGに拡張可能か？その場合、妥当性およびスケーラビリティは保持されるか？
• RQ3 提案されたマルコフブラックケットベースの学習フレームワークの性能は、LCDのような最新の手法と比較してどの程度か？
• RQ4 LWF CGにおけるマルコフブラックケット発見はどの程度並列化可能か？また、これは高次元データにおけるスケーラビリティをどのように向上させるか？
• RQ5 提案されたフレームワークは、小さなサンプルサイズや非一様なグラフスパarsity条件下でも高い正確性と低い構造的誤差率を維持できるか？

主な発見

• 忠実性および因果的十分性の仮定の下で、Grow-ShrinkおよびIAMBアルゴリズムはLWF CGにおけるマルコフブラックケット発見に対して依然として妥当である。
• 提案されたMBC-CSPアルゴリズムはLCDアルゴリズムと同等の性能を達成しており、小規模および大規模なサンプルサイズ設定下で最良の構造的ハミング距離（SHD）スコアを示した。
• 小規模なサンプル設定では、MBC-CSPLWFとLCDが最良のSHDスコアを達成した。一方、大規模なサンプル設定では、MBC-CSPLWF、fdrIAMB、およびLCDが最良の性能を示した。
• このフレームワークにより、マルコフブラックケットの並列学習が可能となり、数十万変数に達するデータセットに対してもスケーラビリティが著しく向上した。
• 局所性を活用することで構造的誤差率を低減し、グローバル制約ベース手法を上回るか同等の信頼性を発揮した。
• 本研究では、局所的手法（例：マルコフブラックケット発見）が、LWF CGの非一様に密集または疎な領域において、グローバル手法よりもより頑健であることを示した。