[論文レビュー] Advances in Variational Inference

Cheng Zhang, Judith Bütepage+2 more|arXiv (Cornell University)|Nov 15, 2017

Gaussian Processes and Bayesian Inference参考文献 223被引用数 25

ひとこと要約

この論文は、2010年代の10年間にわたり、スケーラブルで汎用的で正確かつアンモタイズド推論手法に焦点を当てた変分推論（VI）の最近の進展をレビューしている。確率的最適化、ブラックボックスVI、構造化近似、ニューラルネットワークベースの推論ネットワークの分野における進歩を統合し、効率的なベイジアンディープラーニングと確率的モデリングを可能にする役割を強調している。

ABSTRACT

Many modern unsupervised or semi-supervised machine learning algorithms rely on Bayesian probabilistic models. These models are usually intractable and thus require approximate inference. Variational inference (VI) lets us approximate a high-dimensional Bayesian posterior with a simpler variational distribution by solving an optimization problem. This approach has been successfully used in various models and large-scale applications. In this review, we give an overview of recent trends in variational inference. We first introduce standard mean field variational inference, then review recent advances focusing on the following aspects: (a) scalable VI, which includes stochastic approximations, (b) generic VI, which extends the applicability of VI to a large class of otherwise intractable models, such as non-conjugate models, (c) accurate VI, which includes variational models beyond the mean field approximation or with atypical divergences, and (d) amortized VI, which implements the inference over local latent variables with inference networks. Finally, we provide a summary of promising future research directions.

研究の動機と目的

• 2010年から2017年までの変分推論（VI）における最近の発展を包括的に調査すること。
• 古典的VIの制限、例えばモデル適用範囲の制限やスケーラビリティの問題を克服するため、現代の拡張手法をレビューすること。
• VIとディープラーニングおよび確率的プログラミングの統合が、推論の効率性とアクセスのしやすさを向上させることを強調すること。
• 非エキスパート向けの理論的課題、不確実性推定、実用的使いやすさの分野における未解決課題を特定すること。
• 特に大規模かつ複雑なモデルにおいて、VIを現代のベイジアン機械学習の基盤的ツールとして位置づけること。

提案手法

• 大規模データセットにおけるスケーラブルなVIを可能にするために、確率的勾配降下法と再パラメータ化勾配を利用する。
• 解析的導出を必要とせず、非共役や複雑なモデルに対応できるブラックボックス変分推論（BBVI）を適用する。
• 平均場を超える近似精度を向上させるために、構造化された変分族と代替の発散（例えば、f-発散）を用いる。
• 推論ネットワーク（例：変分オートエンコーダーにおけるもの）を用いたアンモタイズド推論を導入し、データポイント間でパラメータを共有することで推論を高速化する。
• 確率的プログラミングフレームワークを活用して推論を自動化し、手動での実装負担を軽減する。
• 焼きなましスキームと制御変数を組み合わせて、トレーニングの安定化と勾配推定の分散低減を実現する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして変分推論を大規模データセットおよび現代のディープラーニングモデルにスケーラブルにできるか？
• RQ2 非共役や複雑な確率的モデルに適用可能な汎用的VIを実現するための技術は何か？
• RQ3 平均場仮定を超えて、どのようにして変分近似をより正確にできるか？
• RQ4 ニューラルネットワークを用いたアンモタイズド推論は、ベイジアンディープラーニングにおける効率性と一般化性能をどのように向上させるか？
• RQ5 理論的課題、不確実性の定量的評価、非エキスパートの実用的使いやすさの分野における主な未解決課題は何か？

主な発見

• 再パラメータ化勾配を用いた確率的変分推論により、ミニバッチを用いることで大規模データセットにおける効率的最適化が可能になる。
• BBVIのようなブラックボックスVIアルゴリズムにより、共役の事前分布を必要とせず、非定型モデルへのVIの適用範囲が大幅に拡大される。
• 構造化された変分族と非平均場近似は、標準的な平均場近似に比べて、事後分布の近似品質を顕著に向上させる。
• 深層ニューラルネットワークを推論ネットワークとして用いたアンモタイズド推論により、変分オートエンコーダーのようなモデルのエンドツーエンドトレーニングが可能になる。
• Edward や Zhusuan などの確率的プログラミングツールとの統合により、迅速なプロトタイピングとデプロイメントが促進される。
• 進展は見られるが、理論的保証、分散低減、非エキスパート向けの使いやすさの分野には課題が残っており、特に対称性の破れと制御変数の設計において顕著である。