[論文レビュー] Tighter Variational Bounds are Not Necessarily Better

Tom Rainforth, Adam R. Kosiorek+5 more|arXiv (Cornell University)|Feb 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 31

ひとこと要約

この論文は、変分オートエンコーダーにおける学習を改善するために、よりタイトな変分バウンドが常に良いとは限らないという仮定に挑戦し、重要度サンプリングの数（K）を増やすことで、推論ネットワークの勾配の信号対雑音比（SNR）が劣化し、学習が損なわれる可能性があることを示している。これを解決するために、著者らはPIWAE、MIWAE、CIWAEの3つの新しいアルゴリズムを提案し、重要度サンプリングを独自の方法で活用することで、生成モデルの性能を維持または向上させつつ推論ネットワークの学習を改善する。

ABSTRACT

We provide theoretical and empirical evidence that using tighter evidence lower bounds (ELBOs) can be detrimental to the process of learning an inference network by reducing the signal-to-noise ratio of the gradient estimator. Our results call into question common implicit assumptions that tighter ELBOs are better variational objectives for simultaneous model learning and inference amortization schemes. Based on our insights, we introduce three new algorithms: the partially importance weighted auto-encoder (PIWAE), the multiply importance weighted auto-encoder (MIWAE), and the combination importance weighted auto-encoder (CIWAE), each of which includes the standard importance weighted auto-encoder (IWAE) as a special case. We show that each can deliver improvements over IWAE, even when performance is measured by the IWAE target itself. Furthermore, our results suggest that PIWAE may be able to deliver simultaneous improvements in the training of both the inference and generative networks.

研究の動機と目的

• アンモライズド変分推論におけるタイトな証拠下界（ELBO）が普遍的に学習を改善するかどうかを調査すること。
• IWAEにおける重要度サンプル数（K）を増加させることで、推論ネットワークの勾配の信号対雑音比（SNR）が劣化するメカニズムを特定すること。
• 生成モデルの性能を損なわせることなく、推論ネットワークの学習を改善する新しい変分推論アルゴリズムを開発すること。
• 改善された推論ネットワークの学習が、標準のIWAE目的関数で測定しても、より良い事後分布近似をもたらすことを示すこと。

提案手法

• 部分的重み付きオートエンコーダー（PIWAE）を提案し、一部の重要度重みを使用することで、推論ネットワークの勾配のSNRを向上させること。
• 複数回の独立した重要度サンプリングを実行し、共通の重みを共有することで勾配品質を向上させる、複数重み付きオートエンコーダー（MIWAE）を導入すること。
• 複数の重要度サンプリング戦略を組み合わせることで、生成モデルと推論ネットワークの両方の学習をバランスさせる、組み合わせ重み付きオートエンコーダー（CIWAE）を開発すること。
• すべての手法で同じ重要度重みのセットを用い、重み付けの方法を変更することで勾配の分散と信号強度を制御すること。
• IWAEを特別なケースとして含めるようにアルゴリズムを設計し、後方互換性を確保するとともに、直接的な比較を可能にすること。
• 合成ガウスモデルと実世界のデータセットを用いて手法を評価し、IWAE目的関数、KLダイバージェンス、および対数尤度を指標に性能を測定すること。

実験結果

リサーチクエスチョン

• RQ1 IWAEにおける重要度サンプル数（K）を増加させることは、常に推論ネットワークの学習を改善するのか？
• RQ2 IWAEにおけるKの増加により、勾配推定の信号対雑音比（SNR）が劣化する理由は何か？（分散の低減とは対照的である。）
• RQ3 生成モデルの対数尤度に対するタイトなバウンドを維持しつつ、推論ネットワーク勾配のSNRを向上させる代替の変分目的関数を設計できるか？
• RQ4 提案されたアルゴリズムであるPIWAE、MIWAE、CIWAEは、IWAE目的関数で測定しても、IWAEよりも優れた事後分布近似を達成できるか？
• RQ5 ELBOのタイトさと推論ネットワークの品質の間にトレードオフがあるのか？もしあるなら、それを最適化できるか？

主な発見

• IWAEにおけるKの増加は、分散を低減する一方で、真の勾配の大きさがより速く減少するため、推論ネットワークの勾配推定のSNRを低下させる。
• 推論ネットワークの勾配のSNRはKが増加するにつれて劣化し、タイトなバウンドであるにもかかわらず最適化性能が悪化する。
• PIWAEは、IWAEと同等またはより良いIWAE目的関数を達成しつつ、KLダイバージェンスが低く抑えられ、より良い事後分布近似を実現する。
• MIWAEとCIWAEは、IWAEと同等のIWAE目的関数性能を維持しながら、KLダイバージェンスの指標でIWAEを上回り、推論ネットワークの学習が改善されていることを示している。
• トゥイガウスィアン問題では、K=1かつM=1000とした場合に、推論ネットワークと生成ネットワークの両方のパラメータが最も良好に収束した。これは、Kを大きくすれば良いという仮定に反する。
• PIWAE、MIWAE、CIWAEのすべての提案手法が、IWAE目的関数自体においてもIWAEを上回った。これは、よりタイトなバウンドが良い性能に必須ではないことを示している。