[論文レビュー] Markov Blanket Discovery using Minimum Message Length

Yang Li, Kevin B. Korb+1 more|arXiv (Cornell University)|Jul 16, 2021

Bayesian Modeling and Causal Inference参考文献 31被引用数 5

ひとこと要約

本稿では、大規模データセットにおける因果発見の改善を目的として、最小メッセージ長（MML）スコアを用いた、3つの新しいマーキovブランケット（MB）発見手法を提案する。最も優れたMMLベースの手法は、特に高次元およびスパースなネットワークにおいて、精度と耐障害性に優れ、既存の特徴選択およびMB発見手法を、多様なベンチマークネットワークにおける実験的評価で上回る競争力ある性能を示した。

ABSTRACT

Causal discovery automates the learning of causal Bayesian networks from data and has been of active interest from their beginning. With the sourcing of large data sets off the internet, interest in scaling up to very large data sets has grown. One approach to this is to parallelize search using Markov Blanket (MB) discovery as a first step, followed by a process of combining MBs in a global causal model. We develop and explore three new methods of MB discovery using Minimum Message Length (MML) and compare them empirically to the best existing methods, whether developed specifically as MB discovery or as feature selection. Our best MML method is consistently competitive and has some advantageous features.

研究の動機と目的

• 大規模データにおける因果発見のスケーラビリティの課題を、局所的マーキovブランケット（MB）発見を、局所からグローバルへ（LGL）学習フレームワークの第一段階として活用することで解決すること。
• 高次元データセットに対して、精度と効率の両立を図る新しいMMLベースのアルゴリズムを設計・評価すること。
• 多様なベンチマークネットワークにおいて、提案手法のMML手法を、最先端のMB発見および特徴選択アルゴリズムと実験的に比較すること。
• 異なるサンプルサイズおよびネットワーク構造の下で、MB発見における計算効率、精度、耐障害性のトレードオフを調査すること。

提案手法

• 本稿では、マーキovブランケットの表現と学習のための3つのMMLベースのモデルを導入し、それぞれがターゲット変数とその潜在的MB変数間の条件付き独立構造をエンコードする。
• 各モデルは、モデルの複雑さとデータへの適合度のバランスを取るために最小メッセージ長（MML）を用い、データとモデルを符号化するために必要な総メッセージ長を最小化する。
• 最初の手法は、MB構造全体に対して完全なMMLスコアを用いるが、2番目と3番目の手法は、親子関係および配偶者関係を含む変数のサブセットにMMLを適用することで、効率を向上させる。
• アルゴリズムは、MMLスコアの向上に基づいて、候補MBから変数を逐次追加または削除するグリーディー探索戦略を採用する。
• 発見されたMBに対し、対称性条件を強制することで、最終的な構造の整合性と正しさを保証する。
• 実験的評価では、編集距離（edit distance）を用いて発見されたMBと真値を比較し、複数のデータセットおよびサンプルサイズで95%信頼区間を報告した。

実験結果

リサーチクエスチョン

• RQ1 MMLベースのMB発見手法は、既存の制約ベースおよびメトリックベースのMB発見アルゴリズムと比較して、精度と効率の面でどのように異なるか？
• RQ2 サンプルサイズが、異なるネットワークトポロジーにおけるMMLベースのMB発見の性能に与える影響は何か？
• RQ3 MBサイズが、MMLベースの発見の精度に与える影響は何か。特にスパースネットワークと密なネットワークの比較において。
• RQ4 MMLベースのMB発見は、全探索手法と比較して、計算複雑性を低減しつつも、高い精度を維持できるか？

主な発見

• 最も優れたMMLベースの手法は、一貫して競争力ある性能を示し、5000サンプルのINSURANCEネットワークにおいてF1スコア0.98±0.01を達成し、他の手法を上回る精度を示した。
• ALARMネットワークでは、5000サンプルでF1スコア0.98±0.01を達成し、大規模データセットにおいて高い耐障害性と安定性を示した。
• 5000サンプルの30-5-4-1モデルでは、F1スコア0.98±0.01を達成し、高次元条件下でのほぼ完全なMB回復を示した。
• HAILFINDERのようなスパースネットワークでも、5000サンプルでF1スコア0.70±0.02を達成し、情報量が少ない状況下でもベースライン手法を上回った。
• MMLベースのアプローチは、すべてのデータセットで高い精度と再現率を維持し、サンプルサイズが増加するに従い編集距離が顕著に減少した。これにより、スケーラビリティと収束性が確認された。
• 高次元モデル（例：80-5-4-1）においても、5000サンプルでF1スコア0.62±0.02を達成し、複雑でスパースな構造においても、他の手法を上回る優れた耐障害性を示した。