[論文レビュー] Convergence of Proximal-Gradient Stochastic Variational Inference under Non-Decreasing Step-Size Sequence.

Mohammad Emtiyaz Khan, Reza Babanezhad+3 more|arXiv (Cornell University)|Oct 31, 2015

Gaussian Processes and Bayesian Inference参考文献 22被引用数 6

ひとこと要約

本稿では、変分下界の幾何構造を活用することで、非減少ステップサイズのもとでも収束を実現する、プロキシマル・グラディエント確率的変分ベイズ推論手法を提案する。従来の確率的手法が収束のためにはステップサイズを減少させる必要があるのに対し、本手法は変分ガウス過程推論においてより高速な収束を達成する。

ABSTRACT

Stochastic approximation methods have recently gained popularity for variational inference, but many existing approaches treat them as black-box tools. Thus, they often do not take advantage of the geometry of the posterior and usually require a decreasing sequence of step-sizes (which converges slowly in practice). We introduce a new stochastic-approximation method that uses a proximal-gradient framework. Our method exploits the geometry and structure of the variational lower bound, and contains many existing methods, such as stochastic variational inference, as a special case. We establish the convergence of our method under a non-decreasing step-size schedule, which has both theoretical and practical advantages. We consider setting the step-size based on the continuity of the objective and the geometry of the posterior, and show that our method gives a faster rate of convergence for variational-Gaussian inference than existing stochastic methods.

研究の動機と目的

• 減少するステップサイズに依存する従来の確率的変分ベイズ推論手法の収束遅さを解消すること。
• 変分下界の幾何的構造を活用して最適化の効率を向上させること。
• 非減少ステップサイズスケジュールのもとでの理論的収束を確立すること。これは実用的でかつ実際の速度向上に寄与する。
• 従来の手法（例：確率的変分ベイズ推論）をより広範なプロキシマル・グラディエントフレームワークに統合すること。

提案手法

• 本手法は、事後分布の曲率と構造を組み込むことで、変分下界を最適化するためのプロキシマル・グラディエントフレームワークを採用する。
• 標準的手法とは対照的に、減少するステップサイズを必要とせず、非減少ステップサイズ列を用いる。
• 目的関数の滑らかでない成分を扱うために、プロキシマル作用素を統合する。
• 確率的変分ベイズ推論を、プロキシマル・グラディエント定式化における特別な場合として埋め込むことで、一般化を図る。
• 収束速度の向上を図るため、目的関数の連続性と事後分布の幾何構造に基づいてステップサイズを設定する。

実験結果

リサーチクエスチョン

• RQ1 確率的変分ベイズ推論は、非減少ステップサイズスケジュールのもとでも収束するか？
• RQ2 変分下界の幾何構造を活用することで、収束速度はどのように向上するか？
• RQ3 非減少ステップサイズを用いたプロキシマル・グラディエントアプローチの理論的収束挙動はいかなるものか？
• RQ4 本手法は、変分ガウス過程推論において、従来の確率的手法と定量的に比較してどのように異なるか？

主な発見

• 提案手法は、非減少ステップサイズスケジュールのもとでも収束を達成でき、理論的・実用的利点を有する。
• 従来の確率的手法と比較して、変分ガウス過程推論においてより高速な収束速度を実現する。
• 標準的な確率的変分ベイズ推論を特別な場合として含む一般化を実現しており、適用範囲と柔軟性が向上する。
• 事後分布の幾何構造と目的関数の連続性を活用することで、ステップサイズの減少を必要とせず、より効率的な最適化が可能になる。