[論文レビュー] Boosting Variational Inference

Fangjian Guo, Xiangyu Wang+3 more|arXiv (Cornell University)|Nov 17, 2016

Bayesian Methods and Mixture Models参考文献 36被引用数 47

ひとこと要約

本稿では、反復的にパラメトリックなベース分布（例：ガウス分布）からの成分を混合モデルに追加することで事後分布の近似を段階的に改善する、新しいVIアルゴリズムであるブースティング変分推論（BVI）を提案する。これにより、多次元的で非ガウス的な事後分布を高精度に捉えることが可能になる。標準的なVI手法とは異なり、BVIは柔軟な混合族を用いるため、計算時間を増やすことで真の事後分布に収束する。

ABSTRACT

Variational inference (VI) provides fast approximations of a Bayesian posterior in part because it formulates posterior approximation as an optimization problem: to find the closest distribution to the exact posterior over some family of distributions. For practical reasons, the family of distributions in VI is usually constrained so that it does not include the exact posterior, even as a limit point. Thus, no matter how long VI is run, the resulting approximation will not approach the exact posterior. We propose to instead consider a more flexible approximating family consisting of all possible finite mixtures of a parametric base distribution (e.g., Gaussian). For efficient inference, we borrow ideas from gradient boosting to develop an algorithm we call boosting variational inference (BVI). BVI iteratively improves the current approximation by mixing it with a new component from the base distribution family and thereby yields progressively more accurate posterior approximations as more computing time is spent. Unlike a number of common VI variants including mean-field VI, BVI is able to capture multimodality, general posterior covariance, and nonstandard posterior shapes.

研究の動機と目的

• 制限された近似族のため、標準的な変分推論（VI）が多次元的かつ非ガウス的な事後分布を捉えることが難しいという問題に対処する。
• 最適化の極限においても真の事後分布が含まれないという、平均場VIおよび関連手法の根本的問題を克服する。
• 計算時間と統計的精度のトレードオフを取る、スケーラブルで反復的なVIアルゴリズムを開発する。
• 有限混合のパラメトリックなベース分布（例：ガウス分布）を用いた柔軟な事後分布近似を可能にする。これは任意の連続密度を任意に近似可能である。
• 初期値に敏感であるか、複雑な事後分布構造を正しくモデル化できない既存のVI手法に対する実用的で頑健な代替手法を提供する。

提案手法

• ベース分布（例：ガウス分布）の有限混合の族全体に対する最適化問題として事後分布近似を定式化する。これは標準的な平均場やフルランク族よりも表現力に優れる。
• ブースティングにインspiredした戦略を採用：初期は1成分の近似から始め、反復的にベース族からの新しい成分を追加することで近似を改善する。
• 各イテレーションで、新しい混合成分の最適なパラメータ（位置、スケール、重み）を勾配ベースの更新により特定する。
• 高次元事後分布へのスケーリングのため、粒子ベースの評価（n=100粒子）を用いた確率的勾配推定を活用する。
• 現在の変分近似を維持し、成分の追加によって真の事後分布へのKLダイバージェンスを最小化する形で更新する。
• 計算時間の増加に伴い混合成分数を増やせるようにすることで、柔軟性を確保するとともに、より良い近似への収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックなベース分布（例：ガウス分布）の有限混合を用いるVI手法は、標準的な平均場やフルランクVIに比べ、複雑で多次元的な事後分布をよりよく近似できるか？
• RQ2 VIにブースティング風の反復的アルゴリズムを適用することで、成分数や初期値の手動チューニングを必要とせずに、標準的なVI手法よりも事後分布近似の精度が向上するか？
• RQ3 BVIは高次元モデルにおいて、多次元性や一般化された共分散構造を有する非ガウス的事後分布形状を効果的に捉えることができるか？
• RQ4 複雑な幾何的構造を有する挑戦的な事後分布に対して、BVIはADVIAやNUTSと比較して収束速度と精度で優れているか？
• RQ5 他のVI手法と比較して、BVIにおける計算時間と事後分布近似品質のトレードオフはいかなるものか？

主な発見

• センサーネットワークの局所化問題において、BVIはADVIAが非ガウス的で複雑な形状を正しくモデル化できないのに対し、多次元的事後分布を的確に捉えている。
• センサーネットワーク問題において、200イテレーション後にBVIの事後分布平均の相対誤差（REM）は0.05未満に低下し、10万イテレーションを要するADVIAを大きく上回っている。
• Nodalデータセットにおけるベイジアンロジスティック回帰の例では、BVIは平均場VIが共分散行列をゼロに固定するのに対し、より正確な事後分布の分散および共分散推定を提供している。
• ロジスティック回帰の例では、BVIの事後分布平均推定値は真値（Polya-Gamma MCMC）に近く、REM値は0.03未満に抑えられている。
• 初期値に頼らず、固定された成分数を有する既存のVI手法とは異なり、複数回の再起動を必要としないという頑健性を示している。
• BVIの性能は計算時間の増加に伴い単調に向上し、実行時間の延長が段階的により良い近似をもたらすことが確認された。