[論文レビュー] Fast Black-box Variational Inference through Stochastic Trust-Region Optimization

Jeffrey Regier, Michael I. Jordan+1 more|arXiv (Cornell University)|Jun 7, 2017

Stochastic Gradient Optimization Techniques参考文献 12被引用数 6

ひとこと要約

TrustVI は、再パrameterization ティックを用いた確率的信頼領域最適化を用いる高速で2次のブラックボックス変分ベイズ推論アルゴリズムであり、数十回の反復で収束を達成する。通常、ADVI よりも1桁速く、局所最適解に理論的に収束し、Hessian を使わない確率的勾配法（HFSGVI など）よりも優れた変分近似を得られる。

ABSTRACT

We introduce TrustVI, a fast second-order algorithm for black-box variational inference based on trust-region optimization and the reparameterization trick. At each iteration, TrustVI proposes and assesses a step based on minibatches of draws from the variational distribution. The algorithm provably converges to a stationary point. We implemented TrustVI in the Stan framework and compared it to two alternatives: Automatic Differentiation Variational Inference (ADVI) and Hessian-free Stochastic Gradient Variational Inference (HFSGVI). The former is based on stochastic first-order optimization. The latter uses second-order information, but lacks convergence guarantees. TrustVI typically converged at least one order of magnitude faster than ADVI, demonstrating the value of stochastic second-order information. TrustVI often found substantially better variational distributions than HFSGVI, demonstrating that our convergence theory can matter in practice.

研究の動機と目的

• ブラックボックス変分ベイズ推論における確率的1次最適化の収束遅さを解消すること。これは、しばしば数千回の反復を要する。
• HFSGVI などの既存の2次最適化法の限界を克服すること。これらは収束保証がなく、大きな無制限のステップにより数値的不安定性を示す。
• 信頼領域の原則と再パラメータ化テクニックを組み合わせた、スケーラブルで信頼性の高い変分ベイズ推論のための確率的2次最適化フレームワークを開発すること。
• 変分ベイズ推論の文脈における確率的非凸最適化の理論的収束保証を提供することにより、曲率と確率的変動に対するロバストネスを確保すること。
• 収束理論が実際の性能向上にどのように対応するかを実証し、速度と解の質の両面で、1次最適化とヒューリスティックな2次最適化ベースラインを上回ること。

提案手法

• ステップサイズを適応的に制御する信頼領域最適化を用い、数値的オーバーフローまたは目的関数の劣化を引き起こすステップを拒否する。
• 再パラメータ化テクニックを活用し、基本分布からの独立同一分布に従うサンプルを用いてELBOの確率的勾配推定を可能にする。
• 前向きモードの自動微分を用いてヘッセ・ベクトル積を近似し、完全なヘッセ行列を構築せずに効率的に2次情報量を計算する。
• Hoeffdingの不等式を用いて、提案ステップの評価に必要なサンプリングレートを動的に調整し、確率的ヘッセおよび勾配推定の十分な精度を保証する。
• 2段階の最適化戦略を統合する：まず、複数の候補に対して50回のSGD反復を用いた学習率の適応段階；次に、最良の学習率を用いた完全なTrustVI最適化段階。
• 負の曲率に対してもロバストな信頼領域更新を適用し、ニュートン法が失敗する非凸領域でも降下を可能にする。

実験結果

リサーチクエスチョン

• RQ1 2次情報を利用した確率的信頼領域最適化は、ADVI などの1次最適化法と比較して、ブラックボックス変分ベイズ推論の収束を顕著に高速化できるか？
• RQ2 確率的2次最適化法に収束保証を組み込むことで、HFSGVI などのヒューリスティックな2次アプローチよりも優れた実用的性能が得られるか？
• RQ3 TrustVI が確率的ヘッセおよび勾配推定に用いる適応的サンプリング戦略は、収束の安定性と計算効率にどのように影響するか？
• RQ4 HFSGVI が数値的オーバーフローを起こす場合に、TrustVI は収束速度と最終的なELBO値の両面でどの程度HFSGVI を上回るか？
• RQ5 TrustVI の理論的収束保証は、多様なベイズモデルにおいて、実用的ロバストネスと解の質の向上にどの程度対応するか？

主な発見

• 137体中136体（99％）のベイズモデルで、TrustVI はADVI よりも少なくとも1桁速く収束した。
• 69体（50％）のモデルで、TrustVI はADVI よりも少なくとも12倍速く、34体（25％）では少なくとも36倍速かった。
• 183体中126体（69％）のモデルで、TrustVI とADVI は中央値の最適ELBO値に顕著な差がなく、TrustVI がADVI を上回ったのは51体（28％）、下回ったのは僅か6体（3％）だった。
• 160体中51体（28％）のモデルで、TrustVI はHFSGVI よりも解の質が優れていた。HFSGVI は23体のモデルで数値的オーバーフローにより収束せず、分析対象外となった。
• HFSGVI が一部のモデルで初期段階で速い進捗を示したにもかかわらず、TrustVI は信頼領域によるステップ拒否により、悪いステップを常に回避し、より安定かつ高品質な解を得た。
• TrustVI の収束保証は実用的に意味を持つものであった。HFSGVI の不安定性を回避し、HFSGVI が失敗または目的関数を劣化させるモデルの3分の1以上で、より高い中央値のELBO値を達成した。