[論文レビュー] On the relationship between variational inference and adaptive importance sampling.

Axel Finke, Alexandre H. Thiéry|arXiv (Cornell University)|Jul 24, 2019

Explainable Artificial Intelligence (XAI)被引用数 2

ひとこと要約

この論文は、IWAE や RWS を特別なケースとして含む、マルチサンプル変分ベイズ推論の統一的枠組みである AISLE を提案する。Tucker ら (2019) の分散低減手法を適用することで、スティッキング・ザ・ランディング勾配の理論的裏付けを提供し、先行研究におけるその失敗が共同目的関数の欠如によるものではないことを示す。また、IWAE スタイルの目的関数よりも、適応的 Importance Sampling が逐次モンテカルロ拡張のより原理的で自然な基盤であると位置づける。

ABSTRACT

The importance weighted autoencoder (IWAE) (Burda et al., 2016) and reweighted wake-sleep (RWS) algorithm (Bornschein and Bengio, 2015) are popular approaches which employ multiple samples to achieve bias reductions compared to standard variational methods. However, their relationship has hitherto been unclear. We introduce a simple, unified framework for multi-sample variational inference termed adaptive importance sampling for learning (AISLE) and show that it admits IWAE and RWS as special cases. Through a principled application of a variance-reduction technique from Tucker et al. (2019), we also show that the sticking-the-landing (STL) gradient from Roeder et al. (2017), which previously lacked theoretical justification, can be recovered as a special case of RWS (and hence of AISLE). In particular, this indicates that the breakdown of RWS -- but not of STL -- observed in Tucker et al. (2019) may not be attributable to the lack of a joint objective for the generative-model and inference-network parameters as previously conjectured. Finally, we argue that our adaptive-importance-sampling interpretation of variational inference leads to more natural and principled extensions to sequential Monte Carlo methods than the IWAE-type multi-sample objective interpretation.

研究の動機と目的

• 複数のサンプルが用いられるにもかかわらず、変分ベイズ推論、IWAE、RWS の間の理論的関係が曖昧であったが、それらの関係を明確化すること。
• IWAE と RWS を一つの適応的 Importance Sampling 解釈の下で一般化する統一的枠組みである AISLE を開発すること。
• スティッキング・ザ・ランディング（STL）勾配に理論的根拠を与えること。これは、実験的成果はあったが、これまで正当化が欠けていた。
• Tucker ら (2019) における RWS の観察された失敗が、生成モデルと推論ネットワークのための共同目的関数の欠如によるものかどうかを調査すること。
• 変分ベイズ推論を逐次モンテカルロ手法へ拡張する基盤として、IWAE スタイルの目的関数よりも、適応的 Importance Sampling がより自然で原理的なものであると提唱すること。

提案手法

• 提案手法 AISLE は、提案分布を学習的に適応的に最適化することで、変分下界の分散を最小化するマルチサンプル変分ベイズ推論の一般枠組みである。
• 特定の提案分布および重み更新戦略を選択することで、IWAE と RWS が AISLE の特別なケースとして現れることを示す。
• Tucker ら (2019) の分散低減技術を AISLE フレームワークに適用し、STL 勾配を RWS の特別なケースとして導出可能であることを示す。
• AISLE フレームワークを用いて、RWS と STL の構造的差異、特にパラメータの更新方法や勾配の計算方法の違いを分析する。
• IWAE 目的関数を主たる目的関数としてではなく、より広範な適応的 Importance Sampling 方式の特別なケースとして再解釈する。
• RWS が特定の設定で失敗する理由—以前は共同最適化の欠如に起因するとされてきた—が、提案分布の質に対する感受性に起因することを示す。

実験結果

リサーチクエスチョン

• RQ1 IWAE と RWS は、統一的理論枠組みの中でどのように関連しているか？
• RQ2 スティッキング・ザ・ランディング勾配は、原理的な変分ベイズ推論枠組み内で正式に正当化可能か？
• RQ3 Tucker ら (2019) における RWS の失敗は、生成モデルと推論ネットワークのための共同目的関数の欠如によるものか？
• RQ4 変分ベイズ推論の適応的 Importance Sampling 解釈は、IWAE スタイルの目的関数よりも、逐次モンテカルロ手法への拡張においてより自然で原理的な道筋を提供できるか？
• RQ5 分散低減は、異なるマルチサンプル変分ベイズ推論手法を結びつける上で、どのような役割を果たすか？

主な発見

• AISLE は、適応的 Importance Sampling の枠組み内で IWAE と RWS を統一し、両者がより広範なマルチサンプル変分ベイズ推論手法の特別なケースであることを示した。
• スティッキング・ザ・ランディング勾配は、AISLE 内の RWS の特別なケースとして正式に回復され、その使用に対する理論的正当化が初めて得られた。
• Tucker ら (2019) で観察された RWS の失敗は、モデルと推論パラメータの共同目的関数の欠如によるものではなく、提案分布の更新に対する感受性に起因する。
• 変分ベイズ推論の適応的 Importance Sampling 解釈は、IWAE スタイルの目的関数よりも、逐次モンテカルロへの拡張においてより原理的で自然な道筋を提供する。
• Tucker ら (2019) の分散低減技術を用いることで、AISLE フレームワーク内で STL 勾配が洗練された形で導出可能となり、その理論的整合性が強化された。
• 分析により、RWS の根本的な問題は共同最適化の欠如ではなく、訓練中に提案分布を更新する方法に起因する不安定性であることが明らかになった。