[論文レビュー] Automatic Variational Inference in Stan

Alp Kucukelbir, Rajesh Ranganath+2 more|arXiv (Cornell University)|Jun 10, 2015

Gaussian Processes and Bayesian Inference参考文献 12被引用数 71

ひとこと要約

この論文では、Stanにおける確率的モデルとデータのみを入力として、自動的に変分推論を実行する手法である自動微分変分推論（ADVI）を紹介する。潜在変数を実数空間に変換し、平均場ガウス型の変分族を用い、自動微分と確率的最適化を活用することで、多様なモデルにおいてスケーラブルなベイズ推論を実現した。250,000枚の画像といった大規模データセットにおいて、MCMCと比較して数個のオーダーの高速化を達成した。

ABSTRACT

Variational inference is a scalable technique for approximate Bayesian inference. Deriving variational inference algorithms requires tedious model-specific calculations; this makes it difficult to automate. We propose an automatic variational inference algorithm, automatic differentiation variational inference (ADVI). The user only provides a Bayesian model and a dataset; nothing else. We make no conjugacy assumptions and support a broad class of models. The algorithm automatically determines an appropriate variational family and optimizes the variational objective. We implement ADVI in Stan (code available now), a probabilistic programming framework. We compare ADVI to MCMC sampling across hierarchical generalized linear models, nonconjugate matrix factorization, and a mixture model. We train the mixture model on a quarter million images. With ADVI we can use variational inference on any model we write in Stan.

研究の動機と目的

• 確率的プログラミングフレームワークにおいて変分推論を自動化し、モデル固有の変分族や目的関数の導出を不要にする。
• 共役性の仮定を必要とせず、非共役型および階層型モデルを含む広範な微分可能な確率モデルをサポートする。
• 自動微分と組み合わせた確率的変分推論を統合することで、大規模データセットにおけるスケーラブルな推論を実現する。
• Stan内での即時利用を可能にするプラグアンドプレイ型の推論ソリューションを提供し、Stanの言語で記述された任意のモデルに変分推論を適用可能にする。
• MCMCと同等の性能を達成しつつ、特に大規模データセットにおいて数個のオーダーの高速化を実現する。

提案手法

• 単調変換（例：正の変数には対数変換）を用いて潜在変数を実数空間に変換し、標準的な多変量正規分布型の変分族の使用を可能にする。
• 変換後の空間で平均場ガウス近似を用いることで、元のパrameter空間では非ガウス型の近似が得られる。
• 自動微分を活用して、変分下界（ELBO）の変分パラメータに関する勾配を計算し、効率的な最適化を可能にする。
• ミニバッチを用いた確率的最適化を適用し、ELBOにおけるサブサンプリングバイアスを補正するスケーリング要因を導入することで、大規模データセットへのスケーリングを実現する。
• Stanの確率的プログラミングフレームワークにこの手法を統合し、ユーザーがStan言語でモデルを記述するだけで、追加の実装なしにADVIを自動的に適用可能にする。
• 再パラメータライゼーション勾配とブラックボックス変分推論技術を用いて、解析的導出を必要とせずにELBOを効率的に最適化する。

実験結果

リサーチクエスチョン

• RQ1 一般用途の確率的プログラミングフレームワーク（例：Stan）において、モデル固有の導出を必要とせずに、変分推論を完全に自動化できるか？
• RQ2 自動微分と確率的最適化により、MCMCが非効率となるような大規模データセット（例：250,000枚の画像）においても、スケーラブルなベイズ推論が可能か？
• RQ3 提案された自動変分推論手法は、MCMCと比較して競争力のある精度を達成しつつ、著しく高速化されるか？
• RQ4 共役性の仮定を必要とせず、非共役型および階層型モデルを含む広範なモデルクラスを扱えるか？
• RQ5 ADVIの性能は、速度と予測精度の観点で、StanのデフォルトMCMCサンプラー（NUTS）と比較してどうなるか？

主な発見

• 1,000枚の画像を用いた階層的ロジスティック回帰モデルにおいて、ADVIはNUTS（StanのデフォルトMCMCサンプラー）と比較して数個のオーダーの高速化を達成した。
• 250,000枚の画像を学習データとして用いた非共役型ガウス混合モデルにおいて、ADVIは2時間未満で妥当な事後分布近似を生成したが、標準的なMCMCではこのタスクは非効率的であった。
• 1,000枚の画像データセットにおいて、ADVIはNUTSを上回るホールドアウト予測尤度を達成し、高速であるにもかかわらず、モデルの適合度が競争力を持っていることを示した。
• 階層型一般化線形モデル、非共役型行列分解、ガウス混合モデルなど、多様なモデルに対して、モデル固有の修正なしに効果的に対応できた。
• サブサンプリングを組み込んだ確率的変分推論により、ADVIは大規模データセットへのスケーリングが可能になり、計算時間の短縮と精度の維持を両立した。
• ADVIはStan 2.7以降に統合され、任意のStanモデルに対してシームレスかつ自動的に推論を実行できるソリューションを提供した。