[論文レビュー] Fast Second-Order Stochastic Backpropagation for Variational Inference

Kai Fan, Ziteng Wang+3 more|arXiv (Cornell University)|Sep 9, 2015

Gaussian Processes and Bayesian Inference参考文献 30被引用数 21

ひとこと要約

本稿では、再パラメータ化を用いたヘシアンフリーなガウス的バックプロパゲーションを用いた、変分推論のためのスケーラブルな2次の確率的最適化手法HFSGVIを提案する。ヘシアン・ベクター積を用いて曲率情報を効率的に計算することで、特にVAEやベイジアン論理回帰のような深層潜在変数モデルにおいて、SGD や AdaGrad といった1次手法よりも高速な収束を達成する。

ABSTRACT

We propose a second-order (Hessian or Hessian-free) based optimization method for variational inference inspired by Gaussian backpropagation, and argue that quasi-Newton optimization can be developed as well. This is accomplished by generalizing the gradient computation in stochastic backpropagation via a reparametrization trick with lower complexity. As an illustrative example, we apply this approach to the problems of Bayesian logistic regression and variational auto-encoder (VAE). Additionally, we compute bounds on the estimator variance of intractable expectations for the family of Lipschitz continuous function. Our method is practical, scalable and model free. We demonstrate our method on several real-world datasets and provide comparisons with other stochastic gradient methods to show substantial enhancement in convergence rates.

研究の動機と目的

• VAE やベイジアン論理回帰のような深層潜在変数モデルにおける1次確率的勾配手法の収束遅さを解消する。
• 正確なニュートン法の高い計算コストを克服し、変分推論における効率的なヘシアン・ベクター積の計算を可能にする。
• 明示的なヘシアン行列の逆行列を必要とせず、曲率情報を活用するモデルフリーでスケーラブルな最適化フレームワークを開発する。
• 2次情報が、データサイズに対して線形の計算複雑性を維持しつつ収束速度を向上させることを示す。
• 従来のスカラー関数に限った結果を一般化し、多変数かつリプシッツ連続関数に対する確率的勾配推定器の理論的分散バウンドを拡張する。

提案手法

• 潜在変数をノイズの決定的関数として表現する再パラメータ化トリックを用い、不偏な勾配およびヘシアン推定を可能にする。
• 位置スケール族の性質を用いて、ガウス的変分近似における2次勾配（ヘシアンおよびヘシアン・ベクター積）を導出する。
• ヘシアン行列の明示的逆行列を避けるヘシアンフリー最適化を実装し、d次元の潜在空間に対して1イテレーションあたりの計算コストを O(d²) から O(d) に削減する。
• ヘシアンフリー最適化と確率的バックプロパゲーションを組み合わせ、連合パラメータ最適化のためのスケーラブルな2次アルゴリズムHFSGVIを構築する。
• ニュートン型手法のアフィン不変性を活用し、自動的に学習率を調整することで、手動のチューニングを不要にする。
• 本手法をベイジアン論理回帰および変分オートエンコーダーに適用し、実用的なスケーラビリティと収束速度の向上を実証する。

実験結果

リサーチクエスチョン

• RQ1 深層潜在変数モデルにおける変分推論において、ヘシアン情報による2次最適化をスケーラブルかつ効率的に行うことは可能か？
• RQ2 完全なヘシアン行列の逆行列を計算せずに、ガウス的変分推論におけるヘシアン・ベクター積をどのように効率的に計算できるか？
• RQ3 曲率情報を組み込むことで、実世界の生成モデルにおける1次確率的勾配手法よりも収束が速くなるか？
• RQ4 不確実な期待値のための確率的勾配推定器の分散は、リプシッツ連続関数に対して次元に依存しない定数でバウンディング可能か？
• RQ5 ベンチマークデータセットにおいて、HFSGVIはSGD や AdaGrad といった1次手法と比べて性能と収束速度で優れているか？

主な発見

• HFSGVI は、ベイジアン論理回帰および VAE において、SGD や AdaGrad といった1次手法よりも著しく高速な収束を達成しており、時間経過による下界の増加が小さいことが示された。
• HFSGVI は、2次情報を利用しているにもかかわらず、データポイント数に対して線形の計算複雑性を維持しており、SGD と同様のスケーラビリティを有する。
• リプシッツ連続関数に対して、確率的下界推定器の分散は次元に依存しない定数でバウンディングされ、従来のスカラー関数に限った結果を一般化した。
• HFSGVI におけるヘシアンフリー最適化により、アフィン不変性のおかげで学習率の手動チューニングが不要となり、より高いロバスト性が得られた。
• オリベッティ顔データセットにおける再構成結果から、ボトルネック付きの潜在空間であっても、HFSGVI は AdaGrad よりもシャープで現実的である画像を生成した。
• 2次元潜在空間を用いたマニフォールドの可視化により、HFSGVI が顔の識別性の変化といった意味のあるデータ構造を滑らかで解釈可能な形で捉えていることが確認された。