[論文レビュー] Learning Optimal Augmented Bayes Networks

Vikas Hamine, Paul Helman|ArXiv.org|Sep 19, 2005

Bayesian Modeling and Causal Inference参考文献 5被引用数 4

ひとこと要約

本稿では、最小記述長（MDL）スコアに関して最適な拡張ベイズネットワーク（ABN）を学習する多項式時間のグリーディーなアルゴリズムを提示する。属性の依存関係に基づく重み付き無向グラフを構築し、しきい値未満の辺を pruning した後、各連結成分に対してクラスカルのアルゴリズムを適用して最大スパニングツリーを求める。この方法により、最適性が保証されるとともに、TAN構造を一般化して森に似た補助アークを許容する。

ABSTRACT

Naive Bayes is a simple Bayesian classifier with strong independence assumptions among the attributes. This classifier, desipte its strong independence assumptions, often performs well in practice. It is believed that relaxing the independence assumptions of a naive Bayes classifier may improve the classification accuracy of the resulting structure. While finding an optimal unconstrained Bayesian Network (for most any reasonable scoring measure) is an NP-hard problem, it is possible to learn in polynomial time optimal networks obeying various structural restrictions. Several authors have examined the possibilities of adding augmenting arcs between attributes of a Naive Bayes classifier. Friedman, Geiger and Goldszmidt define the TAN structure in which the augmenting arcs form a tree on the attributes, and present a polynomial time algorithm that learns an optimal TAN with respect to MDL score. Keogh and Pazzani define Augmented Bayes Networks in which the augmenting arcs form a forest on the attributes (a collection of trees, hence a relaxation of the stuctural restriction of TAN), and present heuristic search methods for learning good, though not optimal, augmenting arc sets. The authors, however, evaluate the learned structure only in terms of observed misclassification error and not against a scoring metric, such as MDL. In this paper, we present a simple, polynomial time greedy algorithm for learning an optimal Augmented Bayes Network with respect to MDL score.

研究の動機と目的

• 属性間の条件付き独立性を仮定するナイーブベイズ分類器の制限を克服するため、補助アークを用いてこの仮定を緩和すること。
• MDLスコア基準の下で、クラス属性および属性間の依存関係を持つベイジアンネットワーク（ABN）の最適な構造を学習する計算効率の良い手法を開発すること。
• 補助アークが木構造に制限されるTAN構造を一般化し、森構造の補助アークを許容することで、モデルの柔軟性を向上させること。
• 提案されたアルゴリズムがMDLスコアに関して最適なABN構造を生成することを証明すること。これにより、部分的な最適でないヒューリスティック探索手法を回避できる。

提案手法

• クラスを除くすべての属性に対して完全な無向グラフを構築し、各辺は潜在的な補助アークを表す。
• 各辺 $ (i,j) $ に対して条件付き相互情報量 $ I(X_i; X_j|C) $ を計算し、依存関係の強さを反映するエッジコストとして使用する。
• スコアの向上をもたらすアークのみを保持するため、しきい値 $ T_R = \frac{||C||(||X_i||-1)(||X_j||-1)}{2N}\log N $ 未満のすべての辺を pruning する。
• pruned されたグラフの各連結成分に対して、クラスカルの最大スパニングツリー法を独立に適用し、最大コストの森を形成する。
• 各木のすべての辺を、選択したルートから遠ざかる方向に向き付け、有向非巡回グラフ（DAG）を形成し、ABN構造を保持する。
• クラスノード $ C $ をすべての属性の親として接続し、有効な親制約を満たすABN構造を完成させる。

実験結果

リサーチクエスチョン

• RQ1 MDLスコアの下で、森構造の補助アークを許容しても、最適なABN構造を多項式時間で学習できるか？
• RQ2 全体のMDLスコアを低下させるための補助アーク追加のしきい値条件は何か？
• RQ3 提案されたアルゴリズムは、最適性と計算効率を保ちながらTAN構造をどのように一般化するか？
• RQ4 アルゴリズムの出力がMDLスコアに関してグローバルに最適であることを証明できるか？
• RQ5 先行研究で用いられるヒューリスティック探索手法に起因する部分的な最適でない解を回避できるか？

主な発見

• 提案されたアルゴリズムは、しきい値処理段階で削除された辺を含まない最適なABN構造を生成することを示した。このことから、MDLスコアに関して最適であることが証明された。
• しきい値 $ T_R $ は、コストが $ T_R $ を上回る辺を追加することで、方向に依存せずに全体のMDLスコアが低下することを保証するように導出された。これは情報量の増加とパラメータコストのバランスによる。
• TAN手法を、単一の木ではなく複数の木（森）を許容することで一般化し、最適性を損なわずモデルの柔軟性を向上させた。
• pruned されたグラフが連結のまま残る場合、アルゴリズムはTANアルゴリズムに帰着するため、TANが特殊な場合であることが確認された。
• 連結成分ごとにクラスカルのアルゴリズムを適用することで、各成分ごとに最大の依存情報量が捉えられ、MDLスコアの第二項が最大化される。
• アルゴリズムは多項式時間で実行可能であり、一般にNP困難である最適構造学習が実世界の分類タスクに適用可能であることを示し、スケーラビリティと実用性を兼ね備えている。