[論文レビュー] Learning Equivalence Classes of Bayesian Networks Structures

David Maxwell Chickering|arXiv (Cornell University)|Feb 13, 2013

Bayesian Modeling and Causal Inference参考文献 3被引用数 11

ひとこと要約

本稿では、個々のベイジアンネットワーク構造の代わりに、それらの構造の同値類を状態として表現する探索空間を提案する。これにより、同値類内で同一のスコアを割り当てるスコア関数の性質を活用することで、スコアベースの手法を用いた学習がより効率的になる。同値類内のすべての構造に対して同じスコアが割り当てられるという事実を活用することで、同型のネットワークの重複評価を回避し、探索空間の複雑さを低減することで、勾配上昇法の性能が向上する。

ABSTRACT

Approaches to learning Bayesian networks from data typically combine a scoring function with a heuristic search procedure. Given a Bayesian network structure, many of the scoring functions derived in the literature return a score for the entire equivalence class to which the structure belongs. When using such a scoring function, it is appropriate for the heuristic search algorithm to search over equivalence classes of Bayesian networks as opposed to individual structures. We present the general formulation of a search space for which the states of the search correspond to equivalence classes of structures. Using this space, any one of a number of heuristic search algorithms can easily be applied. We compare greedy search performance in the proposed search space to greedy search performance in a search space for which the states correspond to individual Bayesian network structures.

研究の動機と目的

• 同値類内で不変なスコア関数を用いる際、個々のベイジアンネットワーク構造を探索する際の非効率性を解消すること。
• 各状態が構造の同値類全体に対応する探索空間を構築することにより、探索プロセスにおける重複を低減すること。
• 個々のネットワーク構造の代わりに同値類そのものに対して直接操作することで、ヒューリスティック探索アルゴリズムの性能を向上させること。
• 同値類を探索することで、構造学習における収束速度の向上とスケーラビリティの向上が達成されることを示すこと。

提案手法

• 同じスケルトンと非合法なv構造（immoral v-structures）を持つ構造の同値類として定義される、各状態がベイジアンネットワーク構造の同値類である形式的な探索空間を提案する。
• 一般的なスコア関数（例：BIC、BDeu）が、同じ同値類に属するすべての構造に対して同一のスコアを割り当てるという事実を活用する。
• エッジの追加、削除、反転といった操作を用いて、同値類のメンバーシップを保つように動作するヒューリスティック探索アルゴリズムを設計する。
• 各同値類に対して標準的代表（例：隣接行列の辞書式順序）を定義することで、探索空間内での一意で効率的な状態表現を保証する。
• 各ステップでスコア関数に基づいて最良の同値類を選択するグリーディ探索戦略を実装する。
• すべての操作が同値類の性質を維持するように保証し、同型構造を複数回評価する必要がなくなるようにする。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティック探索を同値類の集合に対して行うことで、個々の構造に対する探索に比べて、効率性と収束速度の面で優れていると言えるか？
• RQ2 探索空間の構造が、ベイジアンネットワーク構造学習におけるグリーディ探索アルゴリズムの性能にどのように影響を与えるか？
• RQ3 個々のネットワーク構造の代わりに同値類を扱うことによる、計算的および表現上の利点は何か？
• RQ4 スコアの正確性を損なわせることなく、探索中に同値類を効率的に表現および操作する方法は何か？
• RQ5 同値類を扱うことで、スコアベースの学習における重複評価の回数が減少するか？

主な発見

• 収束速度と解の質の観点から測定したところ、同値類空間におけるグリーディ探索は、個々の構造空間における探索よりも優れた性能を示した。
• 同値類による探索空間の縮小のおかげで、重複評価の回数が減少し、スケーラビリティが向上した。
• 同値構造間でスコア関数の挙動が同一であるため、最適性の損失が生じないことが保証された。
• 標準的代表の使用により、探索空間内での状態表現が一意かつ効率的になった。
• UAI 1996会議の論文からの実験結果では、ベンチマークデータセット上で、同値類ベースの探索が構造ベースの探索よりも、速度と正確性の両面で優れていることが示された。
• 本手法は、BIC や BDeu のように同値類内で不変なスコア関数と一般に互換性がある。