[論文レビュー] Importance Weighted Hierarchical Variational Inference

Artem Vladimirovich Sobolev, Dmitry Vetrov|arXiv (Cornell University)|Jan 1, 2019

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿では、計算可能な密度の要件による制限を克服し、より表現力のある階層的変分後退を可能にする、非定常な証拠下界に対するより緊密な下界を構築する、新たな変分下界の族である Importance Weighted Hierarchical Variational Inference (IWHVI) を提案する。この手法は、既存の手法（例：階層的 VAE や Semi-Implicit Variational Inference）を一般化し、実験的評価において優れた性能を示している。

ABSTRACT

Variational Inference is a powerful tool in the Bayesian modeling toolkit, however, its effectiveness is determined by the expressivity of the utilized variational distributions in terms of their ability to match the true posterior distribution. In turn, the expressivity of the variational family is largely limited by the requirement of having a tractable density function. To overcome this roadblock, we introduce a new family of variational upper bounds on a marginal log-density in the case of hierarchical models (also known as latent variable models). We then derive a family of increasingly tighter variational lower bounds on the otherwise intractable standard evidence lower bound for hierarchical variational distributions, enabling the use of more expressive approximate posteriors. We show that previously known methods, such as Hierarchical Variational Models, Semi-Implicit Variational Inference and Doubly Semi-Implicit Variational Inference can be seen as special cases of the proposed approach, and empirically demonstrate superior performance of the proposed method in a set of experiments.

研究の動機と目的

• 計算可能密度の要件により、複雑な後退分布を表現できない標準的変分推論の限界を解消すること。
• 階層モデルにおけるより緊密な変分下界の族を構築し、後退近似を改善すること。
• 階層的 VAE、半暗黙的変分推論、二重半暗黙的変分推論といった既存手法を統一的かつ一般化するフレームワークを確立すること。
• 計算の tractability を維持しつつ、より表現力のある変分族を潜在変数モデルで使用可能にする。

提案手法

• 階層的モデルにおける周辺対数密度の新たな上界族を、重要度重み付けの原則に基づいて導出する。
• 階層的構造を活用して、標準的な証拠下界（ELBO）に対する段階的なより緊密な変分下界を構築する。
• 明示的な密度計算を必要としない、より表現力のある後退近似を可能にする階層的変分族を導入する。
• 重要度重み付けを用いて真の後退をよりよく近似し、変分下界の品質を向上させる。
• 半暗黙的および二重半暗黙的後退を特別な場合として含める、ELBO の一般化を導出する。
• 階層的構造を用いて潜在変数を分離し、変分近似の柔軟性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 階層的モデルにおけるより緊密な変分下界を構築し、より表現力のある後退近似を可能にすることができるか？
• RQ2 提案手法は、階層的 VAE や半暗黙的変分推論といった既存手法をどのように改善するか？
• RQ3 階層的構造と重要度重み付けは、潜在変数モデルにおける後退推定をどの程度向上させるか？
• RQ4 提案されたフレームワークは、既存の変分推論手法を共通の理論的枠組みで統一・一般化できるか？

主な発見

• 提案手法は、標準的な ELBO よりもより緊密な変分下界を達成し、真の後退分布のより良い近似を実現している。
• 提案手法は、階層的 VAE や半暗黙的変分推論といった既存手法を特別な場合として含み、より広範な適用可能性を示している。
• 実験結果から、さまざまな階層的モデリングタスクにおいてベースライン手法を上回る性能を示している。
• 階層的構造における重要度重み付けの使用により、計算の tractability を損なわず、より正確な後退推定が可能になった。