[論文レビュー] Large-Sample Learning of Bayesian Networks is NP-Hard

David Maxwell Chickering, Christopher Meek+1 more|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用数 154

ひとこと要約

この論文は、一般の条件下で、大規模なデータセットからベイジアンネットワークを学習することは、独立性、推論、情報のオラクルにアクセス可能であってもNP困難であることを証明している。この結果は、親ノード数が上限 k > 3 である離散変数ベイジアンネットワークに対しても成り立ち、一貫性のあるスコア基準を用いた大規模な標本において、最適構造の特定が計算的に非効率であることを示している。

ABSTRACT

In this paper, we provide new complexity results for algorithms that learn discrete-variable Bayesian networks from data. Our results apply whenever the learning algorithm uses a scoring criterion that favors the simplest model able to represent the generative distribution exactly. Our results therefore hold whenever the learning algorithm uses a consistent scoring criterion and is applied to a sufficiently large dataset. We show that identifying high-scoring structures is hard, even when we are given an independence oracle, an inference oracle, and/or an information oracle. Our negative results also apply to the learning of discrete-variable Bayesian networks in which each node has at most k parents, for all k > 3.

研究の動機と目的

• 大規模データセットからのベイジアンネットワーク構造学習の計算複雑性を確立すること。
• 一貫性のあるスコア基準が、大標本極限においても学習問題を容易にするかどうかを分析すること。
• オラクル（独立性、推論、情報）が構造学習の tractability に与える影響を調査すること。
• 親ノード数の上限が k > 3 であるベイジアンネットワークに対しても、困難性の結果を拡張すること。

提案手法

• 一貫性のあるスコア基準の下で、最高スコアを持つベイジアンネットワーク構造を特定する問題として学習問題を形式化すること。
• 既知のNP困難問題への還元を用いて、オラクルへのアクセスがあっても構造学習が依然として困難であることを証明すること。
• 大標本極限が、真の分布を正確に表現する最も単純なモデルを優遇する役割を分析すること。
• オラクルが学習問題の複雑性を低下させないことを示し、NP困難性が保たれることを証明すること。
• 親制約を満たす還元を構築することで、親ノード数が上限 k > 3 であるネットワークに対しても困難性の結果を拡張すること。

実験結果

リサーチクエスチョン

• RQ1 一貫性のあるスコア基準のもとで、大規模データセットからのベイジアンネットワーク構造学習は計算的に容易か？
• RQ2 独立性オラクルへのアクセスが、ベイジアンネットワーク構造学習の複雑性を低下させるか？
• RQ3 推論または情報オラクルが、大標本におけるベイジアンネットワーク学習を容易にするか？
• RQ4 ノードごとの親ノード数の最大値を k > 3 に制限しても、NP困難性の結果は保持されるか？
• RQ5 一貫性のあるスコア基準の単純さバイアスが、効率的な学習アルゴリズムを生まない条件は何か？

主な発見

• 一貫性のあるスコア基準を用いても、大規模データセットからのベイジアンネットワーク構造学習はNP困難である。
• 独立性オラクル、推論オラクル、情報オラクルを提供されても、NP困難性は維持される。
• 親ノード数が各ノードで最大 k 個（k > 3）である離散変数ベイジアンネットワークに対しても、この結果は成り立つ。
• 困難性の原因は、大標本極限において真の分布を正確に表現する最も単純なモデルが最適構造に対応するためである。
• 計算的非効率性は構造学習問題固有のものであり、強力なオラクルへのアクセスによって軽減されない。
• これらの発見は、標準的な複雑性仮定のもとでは、正確な構造学習が多項式時間で解ける可能性は低いことを示唆している。