[論文レビュー] What Cannot be Learned with Bethe Approximations

Uri Heinemann, Amir Globerson|arXiv (Cornell University)|Feb 14, 2012

Machine Learning and Algorithms参考文献 18被引用数 5

ひとこと要約

この論文は、グラフィカルモデルにおけるベッチ近似に基づくパrameter学習が、実際に妥当でかつ基礎的な分布と整合する一部の経験的マージナルを回復できない場合があることを示している。著者らは、近似の固有の制限に起因するベッチ学習の失敗条件を同定し、一部のマージナルが信念伝播の安定した固定点として達成できないことを示しており、この手法の適用に根本的な制限があることを明らかにしている。

ABSTRACT

We address the problem of learning the parameters in graphical models when inference is intractable. A common strategy in this case is to replace the partition function with its Bethe approximation. We show that there exists a regime of empirical marginals where such Bethe learning will fail. By failure we mean that the empirical marginals cannot be recovered from the approximated maximum likelihood parameters (i.e., moment matching is not achieved). We provide several conditions on empirical marginals that yield outer and inner bounds on the set of Bethe learnable marginals. An interesting implication of our results is that there exists a large class of marginals that cannot be obtained as stable fixed points of belief propagation. Taken together our results provide a novel approach to analyzing learning with Bethe approximations and highlight when it can be expected to work or fail.

研究の動機と目的

• 正確な推論が困難な状況下で、グラフィカルモデルのパrameter学習におけるベッチ近似の限界を調査すること。
• 実際に妥当であるにもかかわらず、ベッチ学習によって回復できない経験的マージナルが生じる条件を同定すること。
• 信念伝播が経験的マージナルと一致する安定した固定点に収束しない状況を明確にすること。
• ベッチ近似下での学習可能なマージナルの集合に対する理論的境界を提供すること。
• ベッチベースの学習手法の信頼性を分析するための新しい枠組みを提示すること。

提案手法

• 著者らは、最尤学習における分配関数のベッチ近似を代理関数として分析する。
• 経験的マージナルがベッチ近似下で信念伝播の固定点として表現可能であるための必要十分条件を導出する。
• 凸性と双対性の議論を用いて、ベッチ学習可能なマージナルの集合に対する外挙動と内挙動の境界を確立する。
• ベッチ自由エネルギーの幾何構造とその臨界点を分析することで、モーメントマッチングが失敗する領域を同定する。
• 反例を用いて、真の分布と整合的であるにもかかわらず、ベッチ学習によって回復できない領域を示す。
• ベッチ学習の失敗が、特定のマージナル構成において安定した固定点が存在しないことに起因することを結びつける。

実験結果

リサーチクエスチョン

• RQ1 経験的マージナルにどのような条件下で、ベッチ近似に基づく学習がモーメントマッチングを達成できないのか。
• RQ2 すべての妥当な経験的マージナルが、ベッチ近似下で信念伝播の安定した固定点として表現可能か。
• RQ3 学習可能なマージナルの集合を制限する幾何的または代数的制約は何か。
• RQ4 ベッチ学習可能なマージナルの外挙動と内挙動の境界は、真の可能なマージナル集合とどのように関係しているか。
• RQ5 なぜ妥当な一部の整合的経験的マージナルが、ベッチ学習によって回復できないのか。

主な発見

• 真の分布と整合的であるが、ベッチ近似に基づく学習では回復できない経験的マージナルが存在する。
• ベッチ学習可能なマージナルの集合は、すべての妥当な経験的マージナルの集合よりも厳密に小さい。
• 特定のマージナルが実現可能であっても、信念伝播の安定した固定点として達成できない場合がある。
• 著者らは、ベッチ学習可能なマージナルの集合に対する明示的な外挙動と内挙動の境界を提供し、失敗領域を特徴づけた。
• ベッチ学習の失敗は、ベッチ自由エネルギーの地形の非凸性および非正則性に起因する。
• 結果として、ベッチ近似が複雑な依存構造を有するモデルにおいて正確な推論に常に置き換え可能ではないことが示された。