[論文レビュー] The Thermodynamic Variational Objective

Vaden Masrani, Tuan Anh Le+1 more|arXiv (Cornell University)|Jun 28, 2019

Gaussian Processes and Bayesian Inference参考文献 39被引用数 4

ひとこと要約

本稿では、真の周辺尤度の下界をより厳密にし、既存の変分推論手法を統合・改善する、熱力学的変分目的（TVO）を提案する。真の後部分布と変分近似の間の熱力学的統合経路を活用することで、連続的および離散的潜在変数の両方に対して低分散で再パラメータ化を必要としない勾配推定が可能となり、モデルおよび推論ネットワークの学習において最先端の性能を達成する。

ABSTRACT

We introduce the thermodynamic variational objective (TVO) for learning in both continuous and discrete deep generative models. The TVO arises from a key connection between variational inference and thermodynamic integration that results in a tighter lower bound to the log marginal likelihood than the standard variational variational evidence lower bound (ELBO) while remaining as broadly applicable. We provide a computationally efficient gradient estimator for the TVO that applies to continuous, discrete, and non-reparameterizable distributions and show that the objective functions used in variational inference, variational autoencoders, wake sleep, and inference compilation are all special cases of the TVO. We use the TVO to learn both discrete and continuous deep generative models and empirically demonstrate state of the art model and inference network learning.

研究の動機と目的

• 離散的かつ再パラメータ化不可能な潜在変数を有する深層生成モデルにおける低分散勾配推定の課題に対処すること。
• 広範な適用可能性を損なわずに、対数周辺尤度の変分下界をタイトにすること。
• ELBO、IWAE、VAE、Wake-Sleepを統一的に一般化する、一貫した枠組みの下で既存の目的関数を統合すること。
• 標準的手法でタイトな下界を用いる際に見られる推論ネットワークの性能劣化を回避することで、モデルおよび推論ネットワークの両方の学習を改善すること。
• 多様な潜在変数タイプに適用可能な計算効率が良く、再パラメータ化を不要とする勾配推定器を提供すること。

提案手法

• TVOは、熱力学的変分恒等式に基づいて導出され、対数周辺尤度がモデル分布と推論分布の間の幾何的経路に沿った瞬時のELBOの1次元積分として表現されることに依拠している。
• 経路は、$\tilde{\pi}_{\beta}(\mathbf{z}) = p_{\theta}(\mathbf{x},\mathbf{z})^{\beta} q_{\phi}(\mathbf{z}|\mathbf{x})^{1-\beta}$ で定義される非正規化密度の族によって特徴づけられ、$\beta \in [0,1]$ でパラメータ化されている。
• TVOは、この積分のRiemann和近似として構築され、$K$ 個の等間隔の点を用いることで、標準ELBOよりもタイトな下界が得られる。
• 再パラメータ化トリックを回避し、REINFORCEよりも低い分散を持つ、新しい勾配推定器が導出され、非再パラメータ化分布に対しても有効な学習が可能になる。
• 本手法は既存の目的関数を一般化する：$K=1$ の場合がELBOに対応し、$K>1$ の場合に重要度重み付きオートエンコーダ（IWAE）が特殊ケースとして現れる。
• 本手法は連続的および離散的潜在変数モデルの両方へ適用され、MNISTおよびその他のベンチマークを用いた実験的評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 連続的および離散的潜在変数の両方に適用可能でありながら、変分下界をタイトにできる統一的な目的関数を導出できるか？
• RQ2 深層生成モデルにおける非再パラメータ化分布に対して、低分散勾配推定をどのように達成できるか？
• RQ3 IWAEで観察されるような、推論ネットワークの性能劣化を避けるために、TVOのようなタイトな下界を最適化することは可能か？
• RQ4 熱力学的統合と変分推論の関係を活用することで、モデル学習および一般化性能の向上が図れるか？
• RQ5 TVOは、多様なアーキテクチャにおいて、モデルおよび推論ネットワークの両方の学習で最先端の性能を達成できるか？

主な発見

• TVOは、標準ELBOよりも対数周辺尤度の下界がタイトであり、積分点の数 $K$ が増加するにつれて、下界は任意にタイトに近づく。
• TVO用に提案された勾配推定器は、実験的にREINFORCEよりも低い分散を示し、再パラメータ化を必要としないため、離散的および非再パラメータ化モデルの学習が可能になる。
• TVOを最適化することで、IWAE目的関数を最適化する場合に比べて、推論ネットワークの性能が向上し、タイトな下界を用いる際に生じる推論ネットワーク品質の劣化という既知の問題が解決される。
• TVOは既存の目的関数を包含・一般化する：ELBO、VAE、Wake-Sleep、推論コンパイラーはすべてTVOの特殊ケースである。
• MNISTにおける実験的結果から、TVOは連続的および離散的潜在変数モデルの両方において、モデル尤度および推論ネットワーク品質の両面で最先端の性能を達成することが示された。
• 本手法は多様なアーキテクチャに有効であり、正規およびベルヌーイ尤度を伴う深層VAEを含む多くの構造に適用可能であり、離散的および連続的両設定においても安定した性能を示した。