[論文レビュー] Importance Weighted Autoencoders

Yuri Burda|arXiv (Cornell University)|Sep 1, 2015

Generative Adversarial Networks and Image Synthesis被引用数 249

ひとこと要約

この論文は、尤度下界をタイトにすることで変分オートエンコーダー（VAE）を改善する Importance Weighted Autoencoder（IWAE）を提案する。複数の潜在コードをサンプリングし、それらの尤度に応じて重みを付けることで、より豊かで表現力に富んだ表現を実現し、同じアーキテクチャを用いたVAEと比較して顕著に高いテスト尤度を達成する。

ABSTRACT

The variational autoencoder (VAE; Kingma, Welling (2014)) is a recently proposed generative model pairing a top-down generative network with a bottom-up recognition network which approximates posterior inference. It typically makes strong assumptions about posterior inference, for instance that the posterior distribution is approximately factorial, and that its parameters can be approximated with nonlinear regression from the observations. As we show empirically, the VAE objective can lead to overly simplified representations which fail to use the network's entire modeling capacity. We present the importance weighted autoencoder (IWAE), a generative model with the same architecture as the VAE, but which uses a strictly tighter log-likelihood lower bound derived from importance weighting. In the IWAE, the recognition network uses multiple samples to approximate the posterior, giving it increased flexibility to model complex posteriors which do not fit the VAE modeling assumptions. We show empirically that IWAEs learn richer latent space representations than VAEs, leading to improved test log-likelihood on density estimation benchmarks.

研究の動機と目的

• 変分オートエンコーダー（VAE）における、事後分布の過度に制限された仮定が、豊富で高容量な潜在表現を学習するのを妨げるという限界を是正すること。
• 尤度下界（ELBO）をタイトにすることで、深層生成モデルにおける変分推論の表現力を向上させること。
• 複数サンプルの重要度重み付けが、標準VAEと比較して複雑な事後分布をより良くモデル化できることを示すこと。
• 密度推定ベンチマークにおいて、IWAEがVAEと比較してより高い尤度を達成することを実証的に検証すること。

提案手法

• IWAEは、認識ネットワークを用いて、近似事後分布 q(h|x) から K 個の独立なサンプルを生成する。
• 各サンプルには、p(x|h)/q(h|x) の比に基づく重要度重みが割り当てられ、尤度の重み付き平均が形成される。
• 目的関数は、K 個のサンプルの重み付き平均の期待値の対数であり、標準VAEのELBOよりも真の対数尤度に対するタイトな下界を形成する。
• バックプロパゲーションを用いてエンドツーエンドで学習され、標準VAE損失の代わりに重要度重み付き目的関数が使用される。
• VAEと同一のアーキテクチャを維持するが、複数のサンプルにより複雑で因子分解されない事後分布をモデル化可能となる。
• K が増加するにつれて、IWAEの下界は真の対数尤度に収束し、VAEの目的関数よりもより正確な近似が得られる。

実験結果

リサーチクエスチョン

• RQ1 対数尤度のタイトな下界は、変分オートエンコーダーにおける潜在表現の表現力の向上に寄与するか？
• RQ2 事後分布の近似に複数のサンプルを用いることで、標準VAEと比較して複雑で因子分解されない事後分布をより良くモデル化できるか？
• RQ3 IWAEの目的関数は、VAEと比較して、潜在次元の無効化の程度をどの程度低減するか？
• RQ4 密度推定ベンチマークにおいて、IWAEの生成性能はVAEと比較してテスト尤度の観点で優れているか？
• RQ5 VAEにおける潜在次元の無効化は、最適化の問題によるものか、目的関数自体の本質的限界によるものか？

主な発見

• IWAEは、MNISTおよびCIFAR-10ベンチマークでVAEと比較して顕著に高いテスト尤度を達成し、最大で2.5 natsの向上を示した。
• MNISTデータセットでは、k=50のIWAEが84.88 natsのテスト尤度を達成したのに対し、最良のVAEは86.76 natsであった。これは、生成性能が優れていることを示している。
• IWAEにおける活性化された潜在次元数は、VAEと比較して一貫して高く、最良のIWAEモデルでは25の活性化ユニット、最良のVAEモデルでは19の活性化ユニットを記録した。
• 逆の目的関数で再訓練した場合、IWAEで学習したVAEは活性次元数と尤度の両方とも向上したが、VAEで学習したIWAEは両方の指標で劣化した。
• 2層モデルの第2層における活性化次元数は10未満にとどまり、深層アーキテクチャにおいても容量の利用が限定的であることが示唆された。
• 無効化された次元を削除しても、テスト尤度にほとんど影響がなかった（0.06 nats未満）、これはそれらが生成性能にほとんど寄与していないことを確認した。