[論文レビュー] Automatic structured variational inference

Luca Ambrogioni, Kate Ching‐Ju Lin+5 more|arXiv (Cornell University)|Feb 3, 2020

Gaussian Processes and Bayesian Inference参考文献 44被引用数 10

ひとこと要約

本稿では、共役指数型分布族の更新を模倣することで構造的変分族を自動的に構築する、完全に自動化された手法である Automatic Structured Variational Inference (ASVI) を提案する。この手法により、確率的プログラムにおける効率的かつ高精度な後方分布近似が可能になる。ASVI は低次元および高次元モデルにおいて最先端の性能を達成し、平均場法や逆自己回帰フローを凌駕しながら、元のモデルと同等の計算複雑度を維持する。

ABSTRACT

Stochastic variational inference offers an attractive option as a default method for differentiable probabilistic programming. However, the performance of the variational approach depends on the choice of an appropriate variational family. Here, we introduce automatic structured variational inference (ASVI), a fully automated method for constructing structured variational families, inspired by the closed-form update in conjugate Bayesian models. These convex-update families incorporate the forward pass of the input probabilistic program and can therefore capture complex statistical dependencies. Convex-update families have the same space and time complexity as the input probabilistic program and are therefore tractable for a very large family of models including both continuous and discrete variables. We validate our automatic variational method on a wide range of low- and high-dimensional inference problems. We find that ASVI provides a clear improvement in performance when compared with other popular approaches such as the mean-field approach and inverse autoregressive flows. We provide an open source implementation of ASVI in TensorFlow Probability.

研究の動機と目的

• 確率的プログラム内の複雑な依存関係を捉える構造的変分族の自動構築を目的とする。
• 手動設計や強い仮定を必要とする平均場法や特異的構造の変分推論法の限界を克服することを目的とする。
• 入力モデルの前方伝搬構造を保ちながら、スケーラブルで微分可能な推論を可能にする手法を開発することを目的とする。
• TensorFlow Probability などの自動微分フレームワークにおける平均場法の即時置き換えを提供することを目的とする。
• 元のモデルを上回る計算複雑度を増加させることなく、高性能な後方分布近似を達成することを目的とする。

提案手法

• ASVI は、各潜在変数の後方分布パラメータが親からのパラメータとデータに依存する項の凸結合である凸更新変分族を構築する。これは共役指数型分布族の更新を模倣するものである。
• この手法は、確率的プログラムの決定的前方伝搬とデータ依存の更新を組み合わせたパrameterization を用いることで、元のモデルと同等の時間的・空間的複雑度を保証する。
• 変分族は、各潜在変数の平均が、親ネットワーク出力とデータ駆動型成分の重み付き平均として定義され、学習可能な混合重みを有する。
• 本手法は連続変数および離散変数の両方を扱え、標準的な確率的勾配最適化および自動微分と互換性がある。
• 本手法は、`tfp.experimental.build_asvi_surrogate_posterior` を通じて TensorFlow Probability に再利用可能なコンponentとして実装されている。
• アンモライズド推論は、推論ネットワークを用いて変分パラメータのデータ依存成分を予測することで実現される。

実験結果

リサーチクエスチョン

• RQ1 モデル固有の導出を一切行わず、確率的プログラム内の複雑な依存関係を捉える構造的変分族を完全に自動化された手法が構築可能か？
• RQ2 構造的確率的モデルにおいて、ASVI の性能は平均場法および逆自己回帰フローのベースラインと比べてどうか？
• RQ3 凸更新族は、元のモデルと同等の計算複雑度を維持しながら、後方分布近似を改善できるか？
• RQ4 グラフィカルモデルに衝突する矢印（例：ベイジアンニューラルネットワークにおけるもの）を含む場合、ASVI はどの程度後方分布の依存関係を捉えることができるか？
• RQ5 ASVI は低次元および高次元の推論問題、特に深層生成モデルを含む多様な問題に一般化して適応可能か？

主な発見

• ASVI は、テストされたすべての低次元モデルにおいて平均場法を顕著に上回り、さまざまなデータセットで ELBO が 1.5 から 10.5 ポイント向上した。
• ベイジアンロジスティック回帰モデルでは、ASVI が ELBO -158.2 ± 1.3 を達成したのに対し、平均場法は -166.7 ± 0.2 であった。これは明確な性能向上を示している。
• ディープ変分オートエンコーダーの実験では、MNIST、FashionMNIST、KMNIST のすべてのデータセットで、ASVI が平均場ベースラインを上回るテストセット ELBO を達成した。
• 性能向上は、画像とラベルの同時生成タスクおよび画像のみの生成タスクの両方で一貫して観察された。
• ASVI は、高容量な正規化フロー手法である逆自己回帰フロー（IAFs）と同等の性能を達成したが、計算複雑度は低く抑えられた。
• 本手法は、元のモデルの前方伝搬を通じて後方構造を効果的に捉えることができた。特に、事前分布のグラフに衝突する矢印を含む場合でも同様であったが、このような構造が引き起こす依存関係を直接モデル化することはできなかった。