[論文レビュー] Learning restricted Bayesian network structures

Raymond Hemmecke, Silvia Lindner+1 more|arXiv (Cornell University)|Nov 30, 2010

Bayesian Modeling and Causal Inference被引用数 3

ひとこと要約

本稿では、ベイジアンネットワーク構造を一意に表現する0-1ベクトルである特徴的インミュー（characteristic imsets）を、制限付きベイジアンネットワーク構造の学習解析を簡略化するための新しい代数的道具として導入する。これらのインミューを用いることで、非線形な組合せ最適化問題が線形整数計画問題に変換され、標準的なスコア同等性および分解可能性の仮定の下で、無向グラフにおけるスパニングツリーおよびフォレストの学習が多項式時間で解けることが示され、一方で弦的部分グラフや有界次数構造の学習はNP困難であることが判明した。

ABSTRACT

Bayesian networks are basic graphical models, used widely both in statistics and artificial intelligence. These statistical models of conditional independence structure are described by acyclic directed graphs whose nodes correspond to (random) variables in consideration. A quite important topic is the learning of Bayesian network structures, which is determining the best fitting statistical model on the basis of given data. Although there are learning methods based on statistical conditional independence tests, contemporary methods are mainly based on maximization of a suitable quality criterion that evaluates how good the graph explains the occurrence of the observed data. This leads to a nonlinear combinatorial optimization problem that is in general NP-hard to solve. In this paper we deal with the complexity of learning restricted Bayesian network structures, that is, we wish to find network structures of highest score within a given subset of all possible network structures. For this, we introduce a new unique algebraic representative for these structures, called the characteristic imset. We show that these imsets are always 0-1-vectors and that they have many nice properties that allow us to simplify long proofs for some known results and to easily establish new complexity results for learning restricted Bayes network structures.

研究の動機と目的

• 標準的なスコア同等性および分解可能性の仮定の下で、制限付きベイジアンネットワーク構造の学習の複雑さを解明すること。
• ベイジアンネットワークのマークフォーク等価クラスを一意に特定する新しい代数的表現—特徴的インミュー—を構築すること。
• 非線形最適化問題を線形整数計画問題に変換することで、多面体的手法による学習を可能にすること。
• スパニングツリー、フォレスト、弦的部分グラフなどの特定の構造クラスの学習に関する計算複雑性（多項式時間対NP困難）を確立すること。
• 既知の複雑性結果の証明を統一的かつ簡潔にし、幾何学的・組合せ論的技法を用いて新たな結果を導出可能なフレームワークを提供すること。

提案手法

• 標準インミューを可逆なアフィン変換により変換して得られる0-1ベクトルとして特徴的インミューを導入し、格子構造を保持する。
• 特徴的インミューを用いて有向無閉路グラフ（DAG）のマークフォーク等価クラスを表現し、各エントリは本質的グラフにおける部分集合がクリークを形成するかを示す。
• ベイジアンネットワーク構造学習問題を、特徴的インミューの凸包（特徴的インミュー多面体）上での線形整数計画問題に再定式化する。
• スコア同等性および分解可能性を満たすスコア関数が特徴的インミューに関して線形関数に変換可能であることに着目し、線形計画法への再定式化を可能にする。
• 既知のNP困難問題（例：クリーク検出）からの多項式時間還元を適用し、弦的部分グラフや有界次数構造の学習の困難性を証明する。
• 特徴的インミューのエントリが1であるのは、対応する部分集合が本質的グラフにおいてクリークである場合に限ることを応用し、構造的制約を目的関数に組み込む。

実験結果

リサーチクエスチョン

• RQ1 スコア同等性および分解可能性の仮定の下で、複雑性の証明を簡略化する代数的代表元を用いて、制限付きベイジアンネットワーク構造の学習を体系的に分析可能か？
• RQ2 与えられたスコア関数のもとで、無向グラフにおけるスパニングツリーおよびフォレストの学習は多項式時間で解けるか？
• RQ3 標準的なスコア関数のもとで、弦的部分グラフの学習の計算複雑度はいかほどか？
• RQ4 ノードに次数の上限を課すと、制限付きベイジアンネットワーク構造の学習の複雑度はどのように変化するか？
• RQ5 特徴的インミューを用いて、ベイジアンネットワーク構造学習問題の一般化された多面体的記述を導出可能か？

主な発見

• 標準的なスコア同等性および分解可能性の仮定の下で、無向グラフにおけるスパニングツリーおよびフォレストの学習は多項式時間で解ける。
• スコア関数が固定されており最大クリークサイズが有界であっても、無向グラフにおける弦的部分グラフの学習はNP困難である。
• すべてのノードに定数の次数上限 $ k \geq 2 $ を課すと、学習問題はNP困難に変換される。
• 特徴的インミューは、マークフォーク等価クラスを一意に表現する0-1ベクトルであり、学習問題の代数的・幾何学的再定式化を可能にする。
• 特徴的インミューの使用により、特定のスコア関数の形に依存しない洗練された証明が可能となり、スコア関数の具体的な形に依存しない複雑性結果の証明が可能になる。
• 特徴的インミュー多面体は、正確に特徴的インミューを格子点として含み、その線形記述によりベイジアンネットワーク構造学習に対する多面体的手法が可能になる。