[論文レビュー] Fast Convergent Algorithms for Expectation Propagation Approximate Bayesian Inference

Matthias Seeger, Hannes Nickisch|arXiv (Cornell University)|Dec 16, 2010

Gaussian Processes and Bayesian Inference参考文献 23被引用数 23

ひとこと要約

本論文は、連続的グラフィカルモデルにおける期待値伝搬（EP）近似ベイジアン推論のための、新たな収束性を保証するアルゴリズムを提案する。二重ループ最適化と共分散分解を組み合わせることで、標準EPよりも少なくとも1桁の高速化を達成しながら、停留在点への収束を保証し、画像のぼかし除去や再構成といった複雑なモデルにおけるより高速で信頼性の高い推論を可能にする。

ABSTRACT

We propose a novel algorithm to solve the expectation propagation relaxation of Bayesian inference for continuous-variable graphical models. In contrast to most previous algorithms, our method is provably convergent. By marrying convergent EP ideas from (Opper&Winther 05) with covariance decoupling techniques (Wipf&Nagarajan 08, Nickisch&Seeger 09), it runs at least an order of magnitude faster than the most commonly used EP solver.

研究の動機と目的

• 連続変数グラフィカルモデルにおける標準的逐次期待値伝搬（EP）アルゴリズムに収束保証がないという問題に対処する。
• ラプラススパarsity事前分布やバイナリ分類尤度といった非ガウス事前分布を有するベイジアンモデルに対して、スケーラブルで信頼性の高い推論手法を開発する。
• 精度や収束性を損なわずに、既存のEPソルバーと比較して顕著な高速化を達成する。
• EPを共分散分解を用いた変分最適化問題として統一し、効率的な点推定アルゴリズムを適用して近似ベイジアン推論を可能にする。
• 高次元問題、たとえば画像のぼかし除去、MRI再構成、アクティブラーニングにおける近似ベイジアン推論の実用的導入を可能にする。

提案手法

• 補助変数 $ \bm{z} $ と $ \bm{u}_* $ を含む双対定式化を用いてEPを凹凸最適化問題として定式化し、強い双対性と収束保証を可能にする。
• 外側のループが $ \bm{\theta} = (\bm{\theta}_{-}, \tilde{\bm{\theta}}) $ に関して最適化され、内側のループが双対性を用いて凸凹部分問題を解く二重ループアルゴリズムを導入する。
• 標準EPにおける分散計算を $ \bm{z} $ への直接更新に置き換え、$ \mathrm{Var}_Q[\bm{s}|\bm{y}] $ の計算を不要にすることで収束を加速する。
• 凸性と安定性を保証するため、$ g^*(\bm{z}) = \inf_{\bm{\pi}} \bm{z}^T\bm{\pi} - \log|\bm{A}(\bm{\pi})| $ のような凹双対関数を活用する。
• 文献[12]の収束性を保証する二重ループアルゴリズムの改変版を採用し、共分散分解を組み合わせることで数値的不安定性を回避し、速度を向上させる。
• 強い双対性と非ゼロの再発方向の不在を証明し、（たとえば $ \bm{\pi} \succ \bm{0} $、$ \bm{A}(\bm{\pi}) $ が正定値）といった弱い条件下でも、アルゴリズムが停留在点に収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 連続変数グラフィカルモデルにおける期待値伝搬に、収束性を保証するアルゴリズムを設計できるか。標準的逐次EPにはこのような保証がない。
• RQ2 収束性を保証するEPフレームワークと組み合わせて、共分散分解技術をどのように統合できるか。
• RQ3 実世界の推論タスクにおいて、提案手法が標準EPと比較して、速度と数値的安定性の面でどの程度優れているか。
• RQ4 補助変数 $ \bm{z} $ と $ \bm{u}_* $ を用いた双対定式化は、精度を損なわずに収束をどのように高速化できるか。
• RQ5 画像のぼかし除去や再構成といった高次元問題に、収束性と精度を維持したままスケーリングできるか。

主な発見

• 提案手法は、標準的逐次EPとは異なり、EP目的関数の停留在点への収束性が保証されている。
• 分散計算の削除と効率的な双対最適化のおかげで、最も一般的に使用されるEPソルバーと比較して、少なくとも1桁の高速化が達成された。
• 強い双対性を有する凸凹最適化問題として解くことで、収束が保証され、アルゴリズムの頑健性と安定性が確保された。
• $ g^*(\bm{z}) $ を用いた双対定式化と、$ \mathrm{Var}_Q[\bm{s}|\bm{y}] $ の代わりに $ \bm{z} $ への直接更新により、計算オーバーヘッドが顕著に削減された。
• 画像のぼかし除去と再構成に関する実験では、標準EPよりも高い精度とより速い収束、優れた数値的挙動を達成した。
• ラプラス事前分布やバイナリ分類といった非ガウス事前分布を有するモデルへ一般化可能であり、$ \log Z(\bm{f}) $ の最大化によるハイパーパramータ学習も可能である。