[論文レビュー] Stochastic complexity of Bayesian networks

Keisuke Yamazaki, Sumio Watanabe|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用数 31

ひとこと要約

本稿は代数幾何学を用いて、潜在変数を有するベイジアンネットワークの確率的複雑度を確立し、パrameter空間の特異性のため、その学習複雑度が通常のモデルよりも顕著に低いことが明らかになった。主な結果として、確率的複雑度がパrameter次元未満の値で上界に抑えられることを示しており、これはBICのようなベイジアンモデル選択基準が不十分であり、このような非正則モデルに対して補正が必要であることを示唆している。

ABSTRACT

Bayesian networks are now being used in enormous fields, for example, diagnosis of a system, data mining, clustering and so on. In spite of their wide range of applications, the statistical properties have not yet been clarified, because the models are nonidentifiable and non-regular. In a Bayesian network, the set of its parameter for a smaller model is an analytic set with singularities in the space of large ones. Because of these singularities, the Fisher information matrices are not positive definite. In other words, the mathematical foundation for learning was not constructed. In recent years, however, we have developed a method to analyze non-regular models using algebraic geometry. This method revealed the relation between the models singularities and its statistical properties. In this paper, applying this method to Bayesian networks with latent variables, we clarify the order of the stochastic complexities.Our result claims that the upper bound of those is smaller than the dimension of the parameter space. This means that the Bayesian generalization error is also far smaller than that of regular model, and that Schwarzs model selection criterion BIC needs to be improved for Bayesian networks.

研究の動機と目的

• パrameter空間の特異性により非識別的かつ非正則となるベイジアンネットワークの統計的性質を明確化すること。
• 従来のフィッシャー情報量の手法が失敗する潜在変数を有するベイジアンネットワークの確率的複雑度を調査すること。
• 代数幾何学に基づく手法を、ベイジアンネットワークにおける非正則モデルへの応用を拡張すること。
• ベイジアン汎化誤差が通常のモデルよりも顕著に小さいことを示し、このようなネットワークに対してBICの有効性に疑問を呈すること。

提案手法

• 潜在変数を有するベイジアンネットワークのパrameter空間における特異性を分析するために代数幾何学的手法を適用すること。
• 特異学習理論の手法を用いてモデルの確率的複雑度を計算すること。
• パrameter空間における特異性の構造を分析することで、周辺尤度の漸近的形を導出すること。
• パrameter空間の次元よりも厳密に小さい値で確率的複雑度の上界を確立すること。
• モデルの幾何的構造と統計的性質（特に学習行動と汎化誤差）との関係を関係づけること。
• 特異性の存在により、BIC近似がこれらのモデルに対して失敗することを示すこと。

実験結果

リサーチクエスチョン

• RQ1 潜在変数を有するベイジアンネットワークの確率的複雑度は何か？ それは通常のモデルと比べてどうか？
• RQ2 パrameter空間の特異性は、ベイジアンネットワークの学習および汎化行動にどのように影響するか？
• RQ3 なぜベイジアン情報量基準（BIC）は潜在変数を有するベイジアンネットワークに対して失敗するのか？
• RQ4 代数幾何学的手法を用いて、非正則モデルにおける周辺尤度の正確な漸近的近似を導出できるか？
• RQ5 パrameter空間の幾何学とベイジアンネットワーク学習の統計的性質との関係は何か？

主な発見

• 潜在変数を有するベイジアンネットワークの確率的複雑度は、パrameter空間の次元未満の値で上界に抑えられる。
• パrameter空間に特異性が存在することで、フィッシャー情報行列が正定値でなくなるため、標準的な漸近的近似が無効になる。
• ベイジアン汎化誤差は通常のモデルよりも顕著に小さいため、より優れた学習性能を示す。
• 非正則構造のため、BIC基準はベイジアンネットワークにおけるモデル選択に不適切であることが示された。
• 代数幾何学の応用により、モデルの特異性と統計的性質との間の明確な関係が明らかになり、正確な複雑度推定が可能になった。
• これらのモデルの周辺尤度の漸近的性質は、実数対数正則閾値によって支配され、これが確率的複雑度を決定する。