[論文レビュー] Automatic Differentiation Variational Inference

Alp Kucukelbir, Dustin Tran+3 more|arXiv (Cornell University)|Mar 2, 2016

Gaussian Processes and Bayesian Inference参考文献 54被引用数 188

ひとこと要約

advIは微分可能な確率モデルに対してスケーラブルな変分推論アルゴリズムを自動的に導出し、モデル特定の導出を必要とせずに高速な事後近似を実現します。Stanに統合されています。

ABSTRACT

Probabilistic modeling is iterative. A scientist posits a simple model, fits it to her data, refines it according to her analysis, and repeats. However, fitting complex models to large data is a bottleneck in this process. Deriving algorithms for new models can be both mathematically and computationally challenging, which makes it difficult to efficiently cycle through the steps. To this end, we develop automatic differentiation variational inference (ADVI). Using our method, the scientist only provides a probabilistic model and a dataset, nothing else. ADVI automatically derives an efficient variational inference algorithm, freeing the scientist to refine and explore many models. ADVI supports a broad class of models-no conjugacy assumptions are required. We study ADVI across ten different models and apply it to a dataset with millions of observations. ADVI is integrated into Stan, a probabilistic programming system; it is available for immediate use.

研究の動機と目的

• 確率的モデリングとモデル改良サイクルにおける推論ボトルネックの削減を動機付ける。
• 共役性を必要とせず、広範な微分可能モデルの変分推論アルゴリズムを自動的に導出する方法を開発する。
• 自動微分と変換を統合して大規模データセット上でのスケーラブルなVIを実現する。
• 複数のモデルに適用性を示し、MCMCと性能を比較する。

提案手法

• 潜在変数を制約のない実数座標空間へ変換して普遍的な変分ファミリーを可能にする。
• 変換後空間ではガウス変分ファミリー（平均場または全秩のいずれか）を用い、変数変換を通じて元の空間での非ガウス性を暗黙的に扱う。
• 勾配を確率的勾配（再parameterization）トリックを用いて再parameterizeし、勾配を標準ガウス分布の期待として表現する。
• モンテカルロ積分と自動微分を用いてELBOとその勾配を計算し、自動最適化を可能にする。
• 収束と効率を確保する新しいステップサイズスケジュールを備えた適応的な確率的勾配上昇法を採用する。
• Stan内にこのアプローチを実装し、変数変換と自動微分のライブラリを活用する。

実験結果

リサーチクエスチョン

• RQ1 自動微分変分推論（ADVI）は、共役性の仮定なしに、広いクラスの微分可能モデルに対して正確な事後近似を生成できるか。
• RQ2 大規模データセットに対して、従来のMCMCと比較してADVIは速度と拡張性の点でどうか。
• RQ3 潜在変数の変換と変分ファミリーの選択が事後近似の品質にどのような影響を与えるか。
• RQ4 ADVIは複雑な非共役モデル（例：ミクスチャ、非線形モデル）を確率的プログラミングの枠組みで効果的に扱えるか。

主な発見

• ADVIは微分可能モデルの広範なクラスの変分推論アルゴリズムを自動的に導出するプロセスを自動化する。
• 本手法は共役性を持たないモデルをサポートし、Stanに統合されてすぐに利用可能。
• ADVIは大規模データセットにスケールし、100を超える確率モデルでデモンストレーションされ、 миллиオンの観測値を含むデータセットも含む。
• 制約付き潜在変数を実数空間へ変換することで普遍的な変分近似戦略を実現する。
• 勾配推定はモンテカルロと自動微分を用いて得られ、確率的最適化を可能にする。
• 適応的なステップサイズ系列は収束と実用的な性能を改善する。