[論文レビュー] Faster Stochastic Variational Inference using Proximal-Gradient Methods with General Divergence Functions

Mohammad Emtiyaz Khan, Reza Babanezhad+3 more|arXiv (Cornell University)|Oct 31, 2015

Stochastic Gradient Optimization Techniques参考文献 21被引用数 17

ひとこと要約

本稿では、変分パラメータ空間の幾何構造を活用するために一般化された発散関数を用いる確率的プロキシマル・グラディエント法を提案する。これにより、非共役モデルに対しても閉形式の更新が可能となり、ベンチマークデータセット上でより高速な収束と向上した性能を達成する。また、より広い発散関数クラスを用いて非凸設定に一般化された鏡降下法の既存結果を拡張する、新しい収束速度解析を提供する。

ABSTRACT

Several recent works have explored stochastic gradient methods for variational inference that exploit the geometry of the variational-parameter space. However, the theoretical properties of these methods are not well-understood and these methods typically only apply to conditionally-conjugate models. We present a new stochastic method for variational inference which exploits the geometry of the variational-parameter space and also yields simple closed-form updates even for non-conjugate models. We also give a convergence-rate analysis of our method and many other previous methods which exploit the geometry of the space. Our analysis generalizes existing convergence results for stochastic mirror-descent on non-convex objectives by using a more general class of divergence functions. Beyond giving a theoretical justification for a variety of recent methods, our experiments show that new algorithms derived in this framework lead to state of the art results on a variety of problems. Further, due to its generality, we expect that our theoretical analysis could also apply to other applications.

研究の動機と目的

• 変分パラメータ空間の幾何構造を活用することで最適化の効率を向上させる確率的変分推論手法の開発。
• 変数分割を組み合わせることで、非共役モデルに対しても閉形式の更新を可能にする。
• 一般の発散関数クラスを用いた非凸設定におけるプロキシマル・グラディエント法の収束速度解析の提供。
• 実験的により大きなステップサイズと高速な収束をもたらす、非標準の発散関数を確率的ミラー降下法に用いる理論的妥当性の裏付け。
• NIPSおよびAPなどの実世界データセットにおいて、既存手法を上回る性能を示す。

提案手法

• 変分パラメータ空間の幾何構造を活用するため、Evidence Lower Bound (ELBO) を共役項と非共役項に分解し、プロキシマル・グラディエント更新を可能にする。
• 大規模データセットへのスケーリングのため、ミニバッチを用いてELBOの勾配を推定する確率的勾配を適用する。
• Bregman発散関数を超える一般化発散関数を用いてプロキシマルステップを定義し、柔軟な幾何構造に適合した更新を可能にする。
• 反復的更新は次式のプロキシマル・グラディエントステップで実行される：λ_{k+1} = argmin_{λ} [⟨∇L(λ_k), λ - λ_k⟩ + D(λ, λ_k) + (1/2)‖λ - λ_k‖_2^2]、ここでDは一般発散関数。
• 非共役モデル（例：相関トピックモデル）に適用可能で、log-sum-exp項の近似を必要としない。
• 本フレームワークの収束速度解析を理論的に導出。これにより、確率的ミラー降下法を非凸目的関数と一般発散関数に一般化する。

実験結果

リサーチクエスチョン

• RQ1 変分パラメータ空間の幾何構造を活用することで、確率的プロキシマル・グラディエント法が収束を高速化し、性能を向上させられるか？
• RQ2 本フレームワークを用いることで、非共役モデルに対しても閉形式の更新が導出可能か？
• RQ3 発散関数の選択が、確率的設定における収束速度とステップサイズの安定性に与える影響は？
• RQ4 本フレームワーク下で、既存手法（SVI やミラー降下）の収束速度が理論的に統一・一般化可能か？
• RQ5 ELBOにおけるlog-sum-exp項の近似を回避することで、ホールドアウト尤度に顕著な改善が得られるか？

主な発見

• PG-SVIおよびPG-SVI-MFアルゴリズムは、NIPSおよびAPデータセットにおいて、平均場法、デルタ法、ラプラス法よりも高速な収束と優れたホールドアウト尤度を達成した。
• 10トピックのNIPSデータセットでは、PG-SVIが10秒で約-3.8のホールドアウト負尤度を達成し、すべてのベースラインを上回った。
• log-sum-exp関数の近似を回避することで、より正確な後方分布推定が可能となり、デルタ法やラプラス法と比較して性能が向上した。
• 収束速度解析により、従来の確率的ミラー降下法の結果を、標準Bregman仮定を満たさない発散関数を含むより広いクラスに一般化した。
• 理論的解析から、収束速度はELBOのリプシッツ連続性、発散関数の情報幾何、および確率的勾配の分散に依存することが明らかになった。
• 変数分割による非共役項の線形化により、非共役モデル（例：相関トピックモデル）に対しても、単純な閉形式更新が可能となった。