[論文レビュー] Improved learning of Bayesian networks

T. Kocka, Robert Castelo|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 15被引用数 38

ひとこと要約

本稿では、DAGのマーキov同値性による順序付けを局所探索に統合することで、Bayesian network 構造学習のための新規な探索戦略を提案する。この手法は、同値クラス内での繰り返し局所移動を用い、標準的なDAGベース探索よりも優れた学習性能を達成しながら、時間計算量は同程度を維持する。ヒューリスティック法およびMCMC手法を用いたAlarmデータセット上での実験により、その有効性が示された。

ABSTRACT

The search space of Bayesian Network structures is usually defined as Acyclic Directed Graphs (DAGs) and the search is done by local transformations of DAGs. But the space of Bayesian Networks is ordered by DAG Markov model inclusion and it is natural to consider that a good search policy should take this into account. First attempt to do this (Chickering 1996) was using equivalence classes of DAGs instead of DAGs itself. This approach produces better results but it is significantly slower. We present a compromise between these two approaches. It uses DAGs to search the space in such a way that the ordering by inclusion is taken into account. This is achieved by repetitive usage of local moves within the equivalence class of DAGs. We show that this new approach produces better results than the original DAGs approach without substantial change in time complexity. We present empirical results, within the framework of heuristic search and Markov Chain Monte Carlo, provided through the Alarm dataset.

研究の動機と目的

• Bayesian network 構造学習における標準的なDAGベース探索の非効率性を解消すること。
• マーキov同値性によるBayesian network の自然な順序付けを探索プロセスに統合すること。
• 性能と計算コストのバランスを取った探索戦略を開発すること。
• 時間効率を保ちながら、従来のDAGオンリーサーチよりも学習精度を向上させること。
• ヒューリスティック法およびMCMCフレームワークを用いて、実世界のデータ上で手法を検証すること。

提案手法

• 本手法はDAG上の局所探索を用いるが、移動が同一のマーキov同値クラス内に留まるように保証する。
• 同値クラスに属するままを維持する制約のもとで、繰り返し局所変換（例：スコアベースのエッジ追加/削除）を適用する。
• スコアベースのエッジ操作を優先することで、DAGマーキovモデルの包含順序を尊重する探索方針を採用する。
• DAGベース探索の効率性と、同値クラス探索による性能向上の両方を組み合わせる。
• 同値なDAGは同一の条件付き独立構造を共有することを活用し、より情報に基づいた探索ステップを可能にする。
• 評価のため、ヒューリスティック探索およびマーカフ連鎖モンテカルロフレームワークの両方にこの手法を統合する。

実験結果

リサーチクエスチョン

• RQ1 マーキov同値性の順序付けを局所探索に組み込むことで、Bayesian network 構造学習を改善できるか？
• RQ2 局所探索中に同値クラスを用いることで、標準的なDAG探索に比べてスコアベースの結果が向上するか？
• RQ3 時間計算量を著しく増加させることなく、性能向上を達成できるか？
• RQ4 本手法は、実世界のデータセットにおいて、従来のDAGベース探索と比較してどのように評価されるか？
• RQ5 ヒューリスティックおよびMCMC学習パラダイムの両方において、本手法はスケーラブルかつ有効か？

主な発見

• 提案手法は、スコア品質の観点で、標準的なDAGベース探索を上回る学習性能を達成した。
• Alarmネットワーク上でのヒューリスティック探索およびマーカフ連鎖モンテカルロ設定の両方で、その改善効果が確認された。
• 時間計算量は標準的なDAG探索と同等であり、同値クラス全体の探索による遅延は回避された。
• 実験的結果から、同値クラス内での探索が探索品質を向上させつつ、効率性を維持することが示された。
• 本手法は、Bayesian network 構造学習における性能と計算コストのトレードオフを効果的にバランスさせた。
• 完全な同値クラス列挙を必要とせずに、ベースラインのDAG探索に対する一貫した改善効果を示した。