[論文レビュー] Importance Weighting and Variational Inference

Justin Domke, Daniel Sheldon|arXiv (Cornell University)|Aug 27, 2018

Gaussian Processes and Bayesian Inference被引用数 51

ひとこと要約

IWVIは重要性重み付けを拡張変分推論に結びつけ、純粋な確率的推論への適用を明確化し、楕円分布と防御的サンプリングを通じた改善を示す。本文は理論的な関係と複数のモデルにわたる実証的結果を提供する。

ABSTRACT

Recent work used importance sampling ideas for better variational bounds on likelihoods. We clarify the applicability of these ideas to pure probabilistic inference, by showing the resulting Importance Weighted Variational Inference (IWVI) technique is an instance of augmented variational inference, thus identifying the looseness in previous work. Experiments confirm IWVI's practicality for probabilistic inference. As a second contribution, we investigate inference with elliptical distributions, which improves accuracy in low dimensions, and convergence in high dimensions.

研究の動機と目的

• IWVIが学習を超えた純粋な確率推論へどのように拡張されるかを明確にする。
• IWVIが正確な生成過程を通じた augmented VI の一例であることを示す。
• 楕円分布と防御的サンプリングが推論と収束を改善する役割を調査する。

提案手法

• ELBO分解をレビューし、IW-ELBOを多重サンプル推定の期待値として導く。
• 拡張結合分布p_Mとq_Mを定義し、それらのELBO分解（IWVI定理）を証明する。
• IWVIを自己正規化重要度サンプリングと結びつけ、補題/定理の結果を用いてギャップを定量化する。
• 大きなMに対するIW-ELBOの漸近的挙動を分析し、境界の緩みをRの分散に結びつける。
• 頑健な推論のための楕円分布と一般化リパラメータ化（Elliptical VI）を導入する。
• Dirichlet、クラッターモデル、Cauchy事前分布を用いた回帰分析などの実験を通じて実践的な利点を示す。

実験結果

リサーチクエスチョン

• RQ1 IWVIは標準的なVIと比較してlog p(x)の境界をどのように引き締めるのか。
• RQ2 拡張VIの文脈におけるIWVIと自己正規化重要度サンプリングの正確な関係は何か。
• RQ3 楕円分布と防御的サンプリングは推論精度と収束にどのように影響するのか。
• RQ4 IWVIがテスト時の事後期待値と確率的クエリに与える含意は何か。

主な発見

• IWVIは複数の重要度付き項を平均化することによりlog p(x)に対するIW-ELBO境界をより厳密にする。
• IW-ELBOの最大化は拡張結合分布q_Mとp_M間のKLダイバージェンスを最小化することに対応する。
• IWVIのギャップは二つのKL項に分解でき、推論目的の上界を最小化していることを示す。
• Mが大きくなると境界の緩みはRの分散に支配され、境界の厳密さと重要性重みの分散の間の関係を明らかにする。
• 楕円VIは低次元で小さな改善を、次元が高い場合には特にqがpと不適切に一致しているときにより良い収束を提供する。
• 経験的な結果はIWVIが推論誤差を減少させ、さまざまな合成・実世界風の設定でロバスト性を向上させることを示す。