[論文レビュー] Algorithms and Complexity Results for Exact Bayesian Structure Learning

Sebastian Ordyniak, Stefan Szeider|arXiv (Cornell University)|Mar 15, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用数 7

ひとこと要約

本稿では、スーパーパターンに構造的制約を課した場合の正確なベイジアン構造学習の計算複雑性を提示し、スーパーパターンの木幅が有界であれば多項式時間での正確な学習が達成可能であり、最大次数も有界であれば線形時間で達成可能であることを示している。結果として、木幅と次数の両方の制約が、最大k回の変更を許容するローカルサーチの変種でさえも、実行可能性のためには不可欠であることが明らかになった。

ABSTRACT

Bayesian structure learning is the NP-hard problem of discovering a Bayesian network that optimally represents a given set of training data. In this paper we study the computational worst-case complexity of exact Bayesian structure learning under graph theoretic restrictions on the super-structure. The super-structure (a concept introduced by Perrier, Imoto, and Miyano, JMLR 2008) is an undirected graph that contains as subgraphs the skeletons of solution networks. Our results apply to several variants of score-based Bayesian structure learning where the score of a network decomposes into local scores of its nodes. Results: We show that exact Bayesian structure learning can be carried out in non-uniform polynomial time if the super-structure has bounded treewidth and in linear time if in addition the super-structure has bounded maximum degree. We complement this with a number of hardness results. We show that both restrictions (treewidth and degree) are essential and cannot be dropped without loosing uniform polynomial time tractability (subject to a complexity-theoretic assumption). Furthermore, we show that the restrictions remain essential if we do not search for a globally optimal network but we aim to improve a given network by means of at most k arc additions, arc deletions, or arc reversals (k-neighborhood local search).

研究の動機と目的

• スーパーパターンにグラフ理論的制約を課した場合の正確なベイジアン構造学習の計算複雑性を分析すること。
• スーパーパターンに木幅の有界性と最大次数の有界性があると、効率的な正確な学習が可能かどうかを特定すること。
• グローバル最適化とローカルサーチの両設定において、これらの制約が実行可能性に必要不可欠であるかどうかを調査すること。
• どちらの制約を欠如させると不実行性に至るかを示す、複雑性理論的下界を確立すること。

提案手法

• 著者たちは、すべての有効なベイジアンネットワークのスケルトンを含む無向スーパーパターン上での問題として、ベイジアン構造学習をモデル化している。
• 局所的ノードスコアに分解可能なスコアベースの学習を分析している。
• 木分解に基づく動的計画法を用いて、木幅が有界な場合には非一様多項式時間で解を得ている。
• 追加の構造的制約を適用することで、最大次数も有界であれば時間計算量を線形時間にまで低減している。
• 目的は、与えられたネットワークを高々k個のアーキの変更で改善することであるk近傍ローカルサーチへの拡張も分析している。
• 不実行性の結果は、複雑性理論的仮定を用いて導出されており、両方の制約が実行可能性に不可欠であることが示されている。

実験結果

リサーチクエスチョン

• RQ1 スーパーパターンの木幅が有界である場合、正確なベイジアン構造学習を多項式時間で解けるか？
• RQ2 木幅と最大次数の両方が有界である場合、線形時間での正確な学習が可能か？
• RQ3 高々k個のアーキ変更を許容するローカルサーチの変種の複雑性は何か？
• RQ4 実行可能性のためには、木幅と最大次数の両方の制約が必要不可欠であるのか、それとも片方は緩和可能か？
• RQ5 正確な構造学習において、どちらかの制約を欠如させると、複雑性理論的含意は何か？

主な発見

• スーパーパターンの木幅が有界であれば、正確なベイジアン構造学習は非一様多項式時間で解ける。
• スーパーパターンの最大次数も有界であれば、問題は線形時間で解ける。
• 指数時間仮説を仮定すると、両方の制約が一様多項式時間実行可能性に不可欠であることが示された。
• k近傍ローカルサーチに対しても、同じ複雑性結果が成り立つ。
• どちらの制約も欠如させると、標準的な複雑性理論的仮定のもとで不実行性に至る。
• これらの結果は、分解可能なスコアを用いたスコアベースの学習に適用可能であり、一般的なスコア基準の広いクラスをカバーしている。