[論文レビュー] NCP-VAE: Variational Autoencoders with Noise Contrastive Priors

Jyoti Aneja, Alex Schwing+2 more|arXiv (Cornell University)|May 4, 2021

Generative Adversarial Networks and Image Synthesis被引用数 21

ひとこと要約

この論文は、ノイズ対比推定を用いて再重み付け要因を学習することで、事前分布を集合近似事後分布により密接に一致させるノイズ対比事前分布を備えた変分オートエンコーダー、NCP-VAEを提案する。この手法は、アーキテクチャの変更なしにMNIST、CIFAR-10、CelebA 64、CelebA HQ 256の全データセットで画像生成品質を顕著に向上させる。

ABSTRACT

Variational autoencoders (VAEs) are one of the powerful likelihood-based generative models with applications in various domains. However, they struggle to generate high-quality images, especially when samples are obtained from the prior without any tempering. One explanation for VAEs’ poor generative quality is the prior hole problem: the prior distribution fails to match the aggregate approximate posterior. Due to this mismatch, there exist areas in the latent space with high density under the prior that do not correspond to any encoded image. Samples from those areas are decoded to corrupted images. To tackle this issue, we propose an energy-based prior defined by the product of a base prior distribution and a reweighting factor, designed to bring the base closer to the aggregate posterior. We train the reweighting factor by noise contrastive estimation, and we generalize it to hierarchical VAEs with many latent variable groups. Our experiments confirm that the proposed noise contrastive priors improve the generative performance of state-of-the-art VAEs by a large margin on the MNIST, CIFAR-10, CelebA 64, and CelebA HQ 256 datasets.

研究の動機と目的

• 変分オートエンコーダーにおける事前分布の穴問題（高密度領域が実データに対応しないこと）を是正すること。
• VAEにおける事前分布と集合近似事後分布の整合性を向上させること。
• エネルギーに基づく事前分布とノイズ対比推定を用いて、一般化可能なVAEの生成品質向上手法を開発すること。
• 提案された事前分布学習メカニズムを複数の潜在変数グループを有する階層的VAEに拡張すること。
• 本手法の有効性を多様な画像生成ベンチマークにおいて実証的に検証すること。

提案手法

• 集合事後分布に適合させるために、基本的な事前分布と学習された再重み付け要因から成るエネルギーに基づく事前分布を提案する。
• ノイズ対比推定を用いて、実際の潜在コードとノイズサンプルを区別する再重み付け要因を学習する。
• 複数の潜在変数グループに再重み付け要因を適用することで、階層的VAEへの一般化を実現する。
• サンプリング時に再重み付けされた事前分布を用いることで、低尤度領域からの不正な画像生成を回避する。
• 元のアーキテクチャや目的関数を変更せずに、標準的なVAE学習にノイズ対比事前分布を統合する。
• 再重み付け関数の最適化にコントラスト損失を用い、事前分布が事後分布の高密度領域に向かってシフトするように保証する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ対比推定は、VAEにおける事前分布と事後分布の整合性を向上させる再重み付け関数を効果的に学習できるか？
• RQ2 提案されたエネルギーに基づく事前分布は、事前分布の穴問題を軽減し、画像生成品質を向上させるか？
• RQ3 MNIST、CIFAR-10、CelebA HQ 256のような複雑性の異なる多様なデータセットにおいて、本手法はどのように性能を発揮するか？
• RQ4 複数の潜在変数グループを有する階層的VAEに本手法を効果的に拡張できるか？
• RQ5 アーキテクチャの変更やハイパーパrameterチューニングなしに、生成性能が向上するか？

主な発見

• 提案されたNCP-VAEは、ベースラインVAEと比較して、MNIST、CIFAR-10、CelebA 64、CelebA HQ 256の全データセットで顕著に画像生成品質を向上させる。
• 再重み付け要因を学習することで、事前分布と集合事後分布の整合性が向上し、事前分布の穴問題が効果的に軽減される。
• ノイズ対比事前分布により、特に温度調整なしに事前分布からサンプリングした際、より現実的で破損の少ない生成画像が得られる。
• 異なるアーキテクチャやデータセットに対して一貫した改善が得られ、広範な適用可能性が示された。
• 階層的VAEに対しても本手法は良好に一般化され、深層生成モデルにおいても性能向上を維持する。
• ノイズ対比推定を用いてデータ駆動の再重み付け要因を学習することで、アーキテクチャの変更なしにVAEの性能が向上することが実証された。