[論文レビュー] Automated Variational Inference in Probabilistic Programming

David Wingate, Théophane Weber|arXiv (Cornell University)|Jan 7, 2013

Bayesian Modeling and Causal Inference参考文献 26被引用数 72

ひとこと要約

この論文は、解析的扱いが困難な場合にも、後退分布を効率的に近似できるように、確率的プログラミングにおける自動変分推論アルゴリズムを導入している。勾配推定をトレースベースの計算と強化学習にインspiredされたベースライン適応を用いることで、特にLDA や QMR-DT のような複雑で非共役なモデルにおいて、標準的な確率的勾配降下法よりも収束が速く、分散が小さい。

ABSTRACT

We present a new algorithm for approximate inference in probabilistic programs, based on a stochastic gradient for variational programs. This method is efficient without restrictions on the probabilistic program; it is particularly practical for distributions which are not analytically tractable, including highly structured distributions that arise in probabilistic programs. We show how to automatically derive mean-field probabilistic programs and optimize them, and demonstrate that our perspective improves inference efficiency over other algorithms.

研究の動機と目的

• 解析的解が困難な任意の確率的プログラミングにおいて、効率的かつ自動的に変分推論を実行する課題に対処すること。
• 座標上昇に基づく従来の変分推論の限界を克服すること。これは、更新式の手動導出を必要とし、非共役または高次構造を持つモデルでは失敗する。
• モデル固有の導出を必要とせず、確率的プログラミングから直接平均場変分近似を導出し最適化できる汎用的で自動的な手法を開発すること。
• 強化学習にインspiredされたベースライン適応を用いた確率的勾配最適化により、推論の効率と収束速度を向上させること。
• 高次元性と非共役性のため、従来の手法が困難なLDA や QMR-DT などの複雑なモデルにおいて、スケーラブルな後退分布近似を可能にすること。

提案手法

• 各実行トレースが履歴依存の分布を持つ基本的確率的手続き（ERPs）の列に対応するトレースベースの生成的プロセスとして確率的プログラミングを形式化する。
• 変分目的関数を、真の後退分布とのKLダイバージェンスを最小化することに相当する下界の証拠（ELBO）を最大化することとして定義する。
• パスワイズ微分と再パrameterization を用いて、確率的ノードを含むプログラムにおける勾配計算を可能にする、ELBO の確率的勾配推定器を導出する。
• エピソード的自然アクターキャッチャー（ENAC）にインspiredされたベースライン適応メカニズムを導入し、勾配の分散を低減することで、最適化の安定性と収束速度を向上させる。
• オンラインでミニバッチによる勾配推定を用いることで、全データセットを再処理せずに大規模データセット上でのスケーラブルな最適化を可能にする。
• LDA および QMR-DT のベンチマークに本手法を適用し、手動での導出を必要とせず、変分プログラムを自動的に生成・最適化できることを示している。

実験結果

リサーチクエスチョン

• RQ1 解析的更新式の導出を必要とせず、任意の確率的プログラミングに確率的勾配に基づく変分推論を自動的に適用できるか？
• RQ2 勾配推定における学習ベースラインの使用が、複雑なモデルにおける変分推論の収束速度と分散に与える影響はいかほどか？
• RQ3 提案手法は、LDA や QMR-DT のような非共役モデルにおいて、標準的な確率的勾配降下法や2次勾配法よりも収束性と安定性に優れているか？
• RQ4 従来の手法が失敗する大規模データセットおよび複雑で構造化されたモデルにおいて、自動変分推論はどの程度スケーラブルに拡張可能か？
• RQ5 平均場変分プログラムの自動導出が、下流の推論タスクに適した正確で効率的な後退分布近似をもたらすか？

主な発見

• 提案された自動変分推論（AVI）手法は、LDA および QMR-DT のベンチマークにおいて、標準的な確率的勾配降下法よりも収束が速く、勾配分散が小さいことを確認した。
• ベースライン適応を含むエピソード的自然アクターキャッチャー（ENAC）アルゴリズムは、同じステップサイズと勾配正規化を用いても、vanilla 確率的勾配降下法を著しく上回った。
• 2次勾配降下法（SOGD）は、曲率情報を用いていたが、LDA 実験では性能が悪く、発散すらした。これは、分散低減がなければ曲率推定だけでは不十分であることを示している。
• ENAC の勾配を用いた共役勾配最適化は、勾配降下法よりも収束が速く、勾配方向の質が鍵要因であることを示した。2次情報そのものよりも、勾配の質が重要である。
• 訓練が終了した後、変分プログラムはMCMCのコストの一部に過ぎないほど高速な後退サンプリングを可能にし、MCMCのウォームスタートとしてもさらに効率を向上させられる。
• 本手法は、非共役で複雑なモデルにおいて、平均場変分近似の導出と最適化を自動化し、座標上昇の更新式の手動導出の必要性を排除した。