[論文レビュー] Reweighted Expectation Maximization

Adji Bousso Dieng, John Paisley|arXiv (Cornell University)|Jun 13, 2019

Generative Adversarial Networks and Image Synthesis参考文献 46被引用数 12

ひとこと要約

本論文は、再重み付け期待最大化（REM）を提案する。これは、生成モデルと認識ネットワークの学習ダイナミクスをモーメントマッチド提案を用いて分離することで、変分オートエンコーダー（VAE）および重要度重み付きオートエンコーダー（IWAE）を改善するEMベースの手法である。REMは、周辺尤度を直接最大化することで、後方分布の崩壊やアモアタイゼーション誤差を回避し、密度推定ベンチマークにおいて顕著に優れた尤度性能を達成する。

ABSTRACT

Training deep generative models with maximum likelihood remains a challenge. The typical workaround is to use variational inference (VI) and maximize a lower bound to the log marginal likelihood of the data. Variational auto-encoders (VAEs) adopt this approach. They further amortize the cost of inference by using a recognition network to parameterize the variational family. Amortized VI scales approximate posterior inference in deep generative models to large datasets. However it introduces an amortization gap and leads to approximate posteriors of reduced expressivity due to the problem known as posterior collapse. In this paper, we consider expectation maximization (EM) as a paradigm for fitting deep generative models. Unlike VI, EM directly maximizes the log marginal likelihood of the data. We rediscover the importance weighted auto-encoder (IWAE) as an instance of EM and propose a new EM-based algorithm for fitting deep generative models called reweighted expectation maximization (REM). REM learns better generative models than the IWAE by decoupling the learning dynamics of the generative model and the recognition network using a separate expressive proposal found by moment matching. We compared REM to the VAE and the IWAE on several density estimation benchmarks and found it leads to significantly better performance as measured by log-likelihood.

研究の動機と目的

• 変分推論における深層生成モデルの限界、特に後方分布の崩壊とアモアタイゼーション誤差を解消すること。
• 尤度を直接最適化できるように、深層生成モデルの学習を期待最大化（EM）問題として再定式化すること。
• 生成モデルと認識ネットワークの学習ダイナミクスを分離することで、重要度重み付きオートエンコーダー（IWAE）を改善すること。
• EMベースの学習がより優れた生成モデルとより表現力のある後方分布近似をもたらすことを示すこと。
• 認識ネットワークが生成モデルの学習ダイナミクスから分離された場合、効果的な提案分布として機能できることを示すこと。

提案手法

• 深層生成モデルの学習をEMアルゴリズムとして再定式化し、Eステップで提案分布を計算し、Mステップで周辺尤度を最大化するようにモデルパラメータを最適化する。
• IWAEをEMの一種として再発見し、重要度重み付けが複数の粒子を用いた特定の形のEMに対応することを示す。
• 認識ネットワーク $ r_{\eta}(\mathbf{z}|\mathbf{x}) $ とは独立した、豊かで表現力のある提案分布 $ s(\mathbf{z}) $ を学習するためのモーメントマッチング手順を導入する。
• Eステップでモーメントマッチド提案 $ s(\mathbf{z}) $ を使用することで、認識ネットワークを生成モデルの学習から分離し、共適応を防ぐ。
• EM更新において認識ネットワークに依存せずに、モーメントマッチド提案 $ s(\mathbf{z}) $ を別個に学習し、後方分布近似を改善する。
• Mステップで複数の粒子を用いて真の周辺尤度をより正確に近似する再重み付け尤度目的関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 期待最大化（EM）は深層生成モデルの学習に効果的に適用可能であり、変分推論を上回る性能を示すか？
• RQ2 重要度重み付きオートエンコーダー（IWAE）はEMの特殊なケースであり、この洞察が改善された学習アルゴリズムの開発に繋がるか？
• RQ3 認識ネットワークの学習ダイナミクスを生成モデルから分離することで、後方分布の崩壊が軽減され、モデル品質が向上するか？
• RQ4 モーメントマッチド提案分布 $ s(\mathbf{z}) $ は、EMベースの学習において認識ネットワークよりも優れた後方分布近似となるか？
• RQ5 REMは標準的な密度推定ベンチマークにおいて、VAEおよびIWAEを上回る尤度性能を達成するか？

主な発見

• REMは、MNIST、Stochastic MNIST、Omniglotを含むすべてのテストデータセットで、VAEおよびIWAEを顕著に上回る尤度性能を示した。
• Omniglotデータセットでは、REM（v2）がテスト尤度114.73を達成し、IWAEの113.94およびVAEの109.84を上回った。
• 認識ネットワーク $ r_{\eta}(\mathbf{z}|\mathbf{x}) $ はEM更新のための有効な提案であることが判明し、一部の状況ではモーメントマッチド提案 $ s(\mathbf{z}) $ よりも優れた性能を示した。
• IWAEの後方分布の品質は、粒子数 $ K $ が増加するにつれて劣化し、事前分布へのKLダイバージェンスが上昇することで、その後方分布近似の不安定性が示された。
• REMはVAEおよびIWAEよりも優れた提案を学習しており、事前分布へのKLダイバージェンスが低かったことから、後方分布の崩壊が軽減されていることが示された。
• REMでは、モーメントマッチド提案 $ s(\mathbf{z}) $ を用いることで、認識ネットワークと生成モデルの学習が成功裏に分離され、共適応が防止され、モデルの表現力が向上した。