[論文レビュー] On importance-weighted autoencoders

Axel Finke, Alexandre H. Thiéry|arXiv (Cornell University)|Jul 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 5

ひとこと要約

本稿では、再重み付けwake-sleep (RWS) アルゴリズムを一般化し、IWAE-STL および IWAE-DREG の勾配を特別な場合として含む統一的フレームワークである学習のための適応的重要度サンプリング (AISLE) を導入する。RWS 型の適応的重要度サンプリングが、特に分散が大きい状況下でも、マルチサンプル IWAE 目的関数よりもより頑健であることが示され、ヒューリスティックな IWAE 変種の原理的理論的基盤が提供される。

ABSTRACT

The importance weighted autoencoder (IWAE) (Burda et al., 2016) is a popular variational-inference method which achieves a tighter evidence bound (and hence a lower bias) than standard variational autoencoders by optimising a multi-sample objective, i.e. an objective that is expressible as an integral over $K > 1$ Monte Carlo samples. Unfortunately, IWAE crucially relies on the availability of reparametrisations and even if these exist, the multi-sample objective leads to inference-network gradients which break down as $K$ is increased (Rainforth et al., 2018). This breakdown can only be circumvented by removing high-variance score-function terms, either by heuristically ignoring them (which yields the 'sticking-the-landing' IWAE (IWAE-STL) gradient from Roeder et al. (2017)) or through an identity from Tucker et al. (2019) (which yields the 'doubly-reparametrised' IWAE (IWAE-DREG) gradient). In this work, we argue that directly optimising the proposal distribution in importance sampling as in the reweighted wake-sleep (RWS) algorithm from Bornschein & Bengio (2015) is preferable to optimising IWAE-type multi-sample objectives. To formalise this argument, we introduce an adaptive-importance sampling framework termed adaptive importance sampling for learning (AISLE) which slightly generalises the RWS algorithm. We then show that AISLE admits IWAE-STL and IWAE-DREG (i.e. the IWAE-gradients which avoid breakdown) as special cases.

研究の動機と目的

• K が増加する際、重要度重み付きオートエンコーダー (IWAE) の勾配の崩壊問題、特に φ-勾配における信号対雑音比の消失を解決すること。
• 再重み付けwake-sleep (RWS) アルゴリズムにおける適応的重要度サンプリングが、IWAE のマルチサンプル目的関数の枠組みよりも好ましいことを主張すること。
• RWS、IWAE-STL、IWAE-DREG を統一的に扱う一貫したアプローチとして、学習のための適応的重要度サンプリング (AISLE) の一般化されたフレームワークを形式化すること。
• ヒューリスティックな IWAE-STL 勾配の理論的正当化を提供し、それが RWS 型の適応的重要度サンプリングの視点から自然に導かれるものであることを示すこと。
• AISLE の変種を実験的に評価し、さまざまな設定、特に非 i.i.d. および高次元の潜在空間下で IWAE、IWAE-DREG、RWS-DREG と比較すること。

提案手法

• 変分推論のための汎用的で適応的な重要度サンプリングフレームワークである AISLE を提案し、モデルパラメータ θ を学習する一方で、提案分布 qφ,x(z) を繰り返し改善する。
• AISLE に二つの分散ベースの目的関数（KL 散布と χ² 散布）を導入し、AISLE-KL および AISLE-χ² の変種を生成する。
• K 個の粒子を用いた自己正規化重要度サンプリングを用いて、再パラメトリゼーションやスコア関数の分散問題を回避する φ-勾配を導出する。
• IWAE-STL および IWAE-DREG 勾配が AISLE の特別な場合であることを示し、特に Tucker ら (2019) の二重再パラメトリゼーション恒等式の新規応用によって IWAE-STL が導かれる。
• 高分散状態下での数値的不安定性とバイアスの低減を目的に、重要度重みの α*-スケーリングによる正則化を採用する。
• 特に高 K の設定下で安定化させるために、実験では ADAM に重み正則化を適用する。

実験結果

リサーチクエスチョン

• RQ1 RWS の適応的重要度サンプリングアプローチは、IWAE のマルチサンプル目的関数と比較して、勾配の安定性および実験的性能において優れているか？
• RQ2 ヒューリスティックな IWAE-STL 勾配は、一貫した理論的枠組み内で正当化可能か？
• RQ3 IWAE-DREG および IWAE-STL 勾配は、AISLE のような一般化された RWS 型フレームワークから自然に出現するか？
• RQ4 AISLE の性能は、IWAE、IWAE-DREG、RWS-DREG と比較して、次元数や粒子数が変化する状況下でどのように変化するか？
• RQ5 重要度重みの正則化は、高分散状況下での勾配の安定化と収束改善にどのような役割を果たすか？

主な発見

• 再パラメトリゼーションを回避する AISLE-KL-NOREP および AISLE-χ²-NOREP は、真の事後分布 πθ,x を含まない変分族の場合に、特に中程度の K で、『スコア関数フリー』勾配（IWAE-STL、IWAE-DREG）を上回る性能を示す。
• 標準的な IWAE φ-勾配の性能は、K が増加するにつれて劣化し、以前に理論的に示された O(K−1/2) の信号対雑音比の減少と一致する。
• 予想に反し、『スコア関数フリー』勾配（IWAE-STL、IWAE-DREG）は K を大きくすることで性能が向上しない。むしろ、支配的となる O(K−1) の自己正規化バイアスのため、性能が悪化することもある。
• 重要度重みの正則化は、特に高次元設定（D=10）において、χ² を用いた AISLE 変種の安定性と性能を顕著に向上させる。
• RWS-DREG は、提案分布 qφ,x が真の事後分布 πθ,x に近い場合にのみ良好に動作し、高次元空間や表現力に乏しい変分族では失敗する。
• IWAE-STL および IWAE-DREG における O(K−1) の自己正規化バイアスは、実際の応用では、K を増加させることによる分散低減の利点を上回る場合があり、これらの推定器ではバイアスと分散のトレードオフが存在することが示唆される。