[論文レビュー] Convergent Expectation Propagation in Linear Models with Spike-and-slab Priors

José Miguel Hernández-Lobato, Daniel Hernández-Lobato|arXiv (Cornell University)|Dec 10, 2011

Gaussian Processes and Bayesian Inference参考文献 10被引用数 3

ひとこと要約

本稿では、スパイラル・アンド・スラブ事前分布を備えた線形モデルに対して、収束を保証する期待値伝搬（PC-EP）アルゴリズムを提案する。収束を保証するために分散パラメータを正に制約し、各反復で最小化されるエネルギー関数が有界になるようにする。実験の結果、標準EPが収束しない場合、PC-EPはより優れた事後分布近似を達成するが、収束が達成された場合にはEPと同等の性能を示す。

ABSTRACT

Exact inference in the linear regression model with spike and slab priors is often intractable. Expectation propagation (EP) can be used for approximate inference. However, the regular sequential form of EP (R-EP) may fail to converge in this model when the size of the training set is very small. As an alternative, we propose a provably convergent EP algorithm (PC-EP). PC-EP is proved to minimize an energy function which, under some constraints, is bounded from below and whose stationary points coincide with the solution of R-EP. Experiments with synthetic data indicate that when R-EP does not converge, the approximation generated by PC-EP is often better. By contrast, when R-EP converges, both methods perform similarly.

研究の動機と目的

• 非常に小さな訓練データセットにおいて、標準的で順次的な期待値伝搬（R-EP）が収束しない問題に対処すること。
• 収束を保証する決定論的近似推論手法を開発し、収束時にR-EPと同等の精度を維持すること。
• 分散パラメータを正に制約することで、アルゴリズムが最小化するエネルギー関数が下界から有界になるようにすること。
• スパarsityが過学習を回避するために極めて重要な、過小決定系回帰設定（$n \ll d$）において、R-EPの代替としての強力な代替手法を提供すること。

提案手法

• PC-EPは[3]のアルゴリズムに基づく二重ループ最適化構造を用い、各外ループがEP近似に関連するエネルギー関数を最小化する。
• エネルギー関数が下界から有界になるように、分散パラメータ（$\tilde{v}_{2i} > 0$）に制約を課すことで、収束のための必要条件を満たす。
• PC-EPが最小化するエネルギー関数は、その停留点が標準的R-EPの固定点と一致するように設計されており、収束時に元のEP解と一貫性を持つことを保証する。
• アルゴリズムは、各反復で$\mathcal{O}(dn^2)$の時間で事後精度行列$\mathbf{A}^{-1}$をWoodburyの公式を用いて計算し、R-EPと同等の計算コストを維持する。
• 目的関数の勾配を評価する際、各反復で事後分布近似の周辺分散を計算するため、R-EPに比べて定数係数が約2桁大きくなる。
• 計算オーバーヘッドを低減するため、高速最適化手法（例：[9]）との互換性を設計しているが、これは今後の課題として残されている。

実験結果

リサーチクエスチョン

• RQ1 標準的R-EPが収束しないスパイラル・アンド・スラブ事前分布を備えた線形モデルに対して、収束を保証するEPの変種を開発可能か？
• RQ2 分散パラメータを正に保つ制約が、EPアルゴリズムの収束を保証するとともに、精度を維持するか？
• RQ3 R-EPが発散する場合、提案されたPC-EPアルゴリズムの予測精度は標準R-EPと比べてどのように異なるか？
• RQ4 R-EPが収束しない場合、PC-EPの事後分布近似の質はR-EPよりも顕著に優れているか？

主な発見

• R-EPが収束しない場合、テストセットにおけるPC-EPの平均二乗誤差（MSE）はR-EPよりも顕著に低く、$\tau = 0.9$におけるPC-EPの平均MSEは0.15 ± 0.04、R-EPは0.22 ± 0.06であった。
• R-EPが収束しなかった17のテストセットにおいて、$\tau \in \{0.1, 0.3, 0.5, 0.7, 0.9\}$の全減衰値でPC-EPの平均MSEがR-EPを下回った。
• R-EPが収束した場合（83～94セット）、両手法の性能は類似しており、$\tau = 0.9$におけるPC-EPの平均MSEは0.033 ± 0.007、R-EPは0.024 ± 0.008であった。これは予測精度が同等であることを示している。
• 収束しないケースの数は、高い減衰値とともに増加し、$\tau = 0.9$では100セット中17セットが収束しなかった。これは減衰が収束問題を完全に解決しないことを示している。
• R-EPが収束しない非収束ケースにおいて、PC-EPは一貫してR-EPよりも優れた事後分布近似を生成し、極めて小さな標本サイズの状況でもその強健性を示している。