[論文レビュー] Bounding errors of Expectation-Propagation

Guillaume Dehaene, Simon Barthelmé|arXiv (Cornell University)|Jan 11, 2016

Gaussian Processes and Bayesian Inference参考文献 10被引用数 15

ひとこと要約

この論文は、期待値伝搬（EP）における近似誤差の最初の理論的境界を提供し、EPが平均に関して真の事後分布へ $\mathcal{O}(n^{-2})$ のレートで収束することを示しており、これは標準的ガウス近似（CGA）の $\mathcal{O}(n^{-1})$ の10倍速い収束である。この解析は、データポイント数 $n$ における漸近的展開に基づき、4次のモーメントおよび過剰カルバック・ライブラーレンツィング（KL）ダイバージェンスの境界を導出し、EPの優れた収束特性を示している。

ABSTRACT

Expectation Propagation is a very popular algorithm for variational inference, but comes with few theoretical guarantees. In this article, we prove that the approximation errors made by EP can be bounded. Our bounds have an asymptotic interpretation in the number $n$ of datapoints, which allows us to study EP's convergence with respect to the true posterior. In particular, we show that EP converges at a rate of $\mathcal{0}(n^{-2})$ for the mean, up to an order of magnitude faster than the traditional Gaussian approximation at the mode. We also give similar asymptotic expansions for moments of order 2 to 4, as well as excess Kullback-Leibler cost (defined as the additional KL cost incurred by using EP rather than the ideal Gaussian approximation). All these expansions highlight the superior convergence properties of EP. Our approach for deriving those results is likely applicable to many similar approximate inference methods. In addition, we introduce bounds on the moments of log-concave distributions that may be of independent interest.

研究の動機と目的

• 変分推論における期待値伝搬（EP）の近似誤差に関する厳密な理論的境界を提供すること。
• データポイント数 $n$ が増加するに従い、EPの収束速度が真の事後分布に対してどのように変化するかを分析すること。
• 変分推論における標準的ベンチマークである標準的ガウス近似（CGA）とEPの性能を定量的に比較すること。
• EPにおける2次から4次までのモーメントおよび過剰カルバック・ライブラーレンツィング（KL）ダイバージェンスの漸近的展開を導出すること。
• 漸近的誤差解析を用いて、類似構造を持つ他の近似推論手法の解析に一般化可能な技術を確立すること。

提案手法

• 密度関数の対数とその導関数のテイラー展開を用いて、EP近似の $n$ が大きい極限における漸近的展開を導出する。
• 対数凸分布のモーメントをバースカム＝ライブ型不等式を用いて境界づける。
• EPにおける反復的サイト近似更新を用いて、近似事後分布の平均、分散、および高次モーメントの式を導出する。
• EPのモーメント推定値とCGAの推定値を、$n^{-1}$ および $n^{-2}$ の一次誤差項を分析することで比較する。
• サイト固有のモーメントをグローバル事後分布に関連付けるハイブリッド近似戦略を採用し、誤差伝播解析を可能にする。
• EPとCGAの差は主に累積量展開における高次補正項に起因し、EPは $\mathcal{O}(n^{-2})$ 項を捉えていることが示された。

実験結果

リサーチクエスチョン

• RQ1 EPの平均推定値が $n \to \infty$ のとき真の事後分布平均へ収束する漸近的レートは何か？
• RQ2 EPの近似誤差が、$n$ に関してCGAの誤差と定量的に比較してどうなるか？
• RQ3 EPが理想のガウス近似に対して負う過剰カルバック・ライブラーレンツィング（KL）ダイバージェンスは、漸近的に境界づけられるか？
• RQ4 EPの分散、歪度、尖度の推定値における一次誤差項は何か？
• RQ5 この手法は、類似構造を持つ他の変分推論アルゴリズムの誤差を境界づけるために一般化可能か？

主な発見

• EPの平均近似は、真の事後分布平均へ $\mathcal{O}(n^{-2})$ のレートで収束し、これはCGAの $\mathcal{O}(n^{-1})$ の10倍速い収束である。
• EPの分散推定値も $\mathcal{O}(n^{-2})$ で収束し、平均の収束レートと一致しており、CGAの $\mathcal{O}(n^{-1})$ の性能を上回っている。
• 2次から4次までのモーメントに関して、EPは一次誤差が $\mathcal{O}(n^{-2})$ である漸近的展開を提供し、一貫した高次精度を示している。
• EPの理想ガウス近似に対する過剰カルバック・ライブラーレンツィング（KL）ダイバージェンスは、境界づけられており $\mathcal{O}(n^{-2})$ で収束しており、強い統計的忠実性を示している。
• EPとCGAの差は、高次累積量補正項に起因し、EPはCGAが見逃す $\mathcal{O}(n^{-2})$ 項を捉えている。
• 対数凸分布のモーメントに関する導出された境界は、独立した興味を有し、他の推論手法への応用が可能である可能性がある。