[論文レビュー] Gaussian Probabilities and Expectation Propagation

John P. Cunningham, Philipp Hennig+1 more|arXiv (Cornell University)|Nov 29, 2011

Gaussian Processes and Bayesian Inference参考文献 45被引用数 41

ひとこと要約

本稿は、長方形領域および多面体領域における多次元ガウス確率の近似手法としての期待値伝搬（EP）を調査する。EPは長方形領域では非常に高い精度の近似を提供するが、一般の多面体領域では任意に不正確な結果を生じる可能性があり、この問題クラスにおけるEPの信頼性に深刻な限界があることが明らかになった。

ABSTRACT

While Gaussian probability densities are omnipresent in applied mathematics, Gaussian cumulative probabilities are hard to calculate in any but the univariate case. We study the utility of Expectation Propagation (EP) as an approximate integration method for this problem. For rectangular integration regions, the approximation is highly accurate. We also extend the derivations to the more general case of polyhedral integration regions. However, we find that in this polyhedral case, EP's answer, though often accurate, can be almost arbitrarily wrong. We consider these unexpected results empirically and theoretically, both for the problem of Gaussian probabilities and for EP more generally. These results elucidate an interesting and non-obvious feature of EP not yet studied in detail.

研究の動機と目的

• 一般の統合領域における多次元ガウス確率の近似に関して、期待値伝搬（EP）の精度と信頼性を評価すること。
• 特に多面体領域において、EPが高次元空間におけるガウス累積確率を信頼性を持って近似できるかどうかを調査すること。
• 特に領域が長方形でない場合に、切断ガウス分布にEPを適用した際の理論的・実験的挙動を理解すること。
• EPが他の状況では正確に見えるにもかかわらず、深刻な失敗を引き起こす条件を同定すること。
• ガウス統合問題における近似ベイズ推論におけるEPの非顕在的限界についての知見を提供すること。

提案手法

• 本稿は、線形制約によって定義される領域 𝒜 における切断ガウス分布としての目的分布をモデル化し、EPを用いて正規化定数（目的のガウス確率 F(𝒜) に相当）を近似する。
• EPは、各制約のlikelihood要因をガウスメッセージとして逐次近似し、真の事後分布のモーメントと一致するように十分統計量を更新することで適用される。
• 真の切断分布とEP近似との間で、零次、一次、二次モーメントを一致させるモーメントマッチングを用いる。
• 理論的分析により、EPの近似誤差が、他の状況では正確に見えるにもかかわらず、無限大にまで増大する条件を導出する。
• 実験的検証として、さまざまな次元と領域幾何形状において、EPの結果を正確な数値統合と比較する。
• 本稿は、一般の指数型分布族フレームワークに分析を拡張し、EPにおけるKLダイバージェンス最小化が、零次モーメント（すなわち確率そのもの）に関して正確なモーメントマッチング条件を導くことを示している。

実験結果

リサーチクエスチョン

• RQ1 期待値伝搬は、長方形統合領域における多次元ガウス確率に対して正確な近似を提供できるか？
• RQ2 統合領域が長方形ではなく一般の多面体である場合、EPの性能はいかがなっているか？
• RQ3 EPが、他の状況では正確に見えるにもかかわらず、ガウス確率の推定において任意に大きな誤差を生じる条件は何か？
• RQ4 EPはなぜ多面体ケースで失敗するのか？ これにより、EPの根本的仮定と限界について何が明らかになるか？
• RQ5 ガウス統合問題における近似推論におけるEPの信頼性について、理論的・実験的知見は何か？

主な発見

• 長方形統合領域では、EPは多次元ガウス確率に対して非常に高い精度の近似を提供し、しばしば正確な数値統合と高い精度で一致する。
• より一般的な多面体領域のケースでは、EPの近似は任意に不正確になる可能性があり、領域が長方形に非常に近いか、真の確率が中程度であっても同様である。
• EPの誤差が有界に成長する理論的条件を同定し、EPが任意の多面体制約に対しては頑健でないことを示した。
• 長方形ケースでは高い精度を示すにもかかわらず、EPの多面体領域における性能は、以前に深く文書化されていなかった顕著な限界を露呈している。
• EPのモーメントマッチングアプローチは長方形領域では効果的であるが、領域の幾何が十分統計量に非線形依存性を導入する場合には、深刻な失敗を引き起こす可能性がある。
• 本研究は、特にガウス確率推定の文脈においてEPの理論的理解に深刻なギャップがあることを強調し、一般の多面体領域へのEPの適用には注意が必要であると示唆している。