[論文レビュー] Diffusion Priors In Variational Autoencoders

Antoine Wehenkel, Gilles Louppe|arXiv (Cornell University)|Jun 29, 2021

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 8

ひとこと要約

本稿では、変分オートエンコーダー（VAEs）における学習可能な事前分布として、ノイズ除去拡散確率的モデル（DDPMs）を用いることを提案し、標準的なガウス事前分布を置き換えることで生成性能を向上させている。VAEのエンコーダ、デコーダ、拡散事前分布をELBO目的関数に基づき共同で訓練することで、正規化流れ事前分布と同等のサンプル品質を達成しており、特にCelebAではガウス事前分布を上回り、CIFAR10でもFIDスコアの制限はあるものの競争力のある結果を示している。

ABSTRACT

Among likelihood-based approaches for deep generative modelling, variational autoencoders (VAEs) offer scalable amortized posterior inference and fast sampling. However, VAEs are also more and more outperformed by competing models such as normalizing flows (NFs), deep-energy models, or the new denoising diffusion probabilistic models (DDPMs). In this preliminary work, we improve VAEs by demonstrating how DDPMs can be used for modelling the prior distribution of the latent variables. The diffusion prior model improves upon Gaussian priors of classical VAEs and is competitive with NF-based priors. Finally, we hypothesize that hierarchical VAEs could similarly benefit from the enhanced capacity of diffusion priors.

研究の動機と目的

• 標準的なガウス事前分布をより表現力のある事前分布モデルに置き換えることで、変分オートエンコーダー（VAEs）の生成性能を向上させること。
• ノイズ除去拡散確率的モデル（DDPMs）がVAEフレームワークにおいて効果的で学習可能な事前分布として機能するかどうかを検証すること。
• 異なるデータセットおよび潜在次元数において、拡散事前分布がサンプル品質とFIDスコアに与える影響を評価すること。
• 階層的VAEアーキテクチャにおける拡散事前分布の潜在的利点を、構造的モデリングの向上に向けて探求すること。

提案手法

• VAEにおける標準的なガウス事前分布を、DDPMに基づく事前分布に置き換える。この拡散事前分布は、エビデンス下限界（ELBO）目的関数に基づき、同時に訓練される。
• 拡散事前分布は、前向きなノイズ付与プロセスを逆方向に実行することで、潜在変数の分布をモデル化し、潜在空間におけるスコアベースの生成モデルを学習する。
• VAEのエンコーダとデコーダは、事後分布と事前分布のKLダイバージェンスを含むELBOにおける確率的勾配上昇法を用いて、エンドツーエンドで訓練される。
• 公平な比較のため、すべてのモデルでDCGANにインspiredされたエンコーダ-デコーダバックボーンを共有して使用する。
• 拡散事前分布は、単純なMLPベースの遷移関数を用いた3段階のノイズ除去プロセスとして実装されており、正規化流れベースラインと類似している。
• 学習は250エポックにわたり、固定学習率0.0005でAdamを用いて実施され、モデル選定は検証セットの性能に基づく。

実験結果

リサーチクエスチョン

• RQ1 DDPMはVAEにおける学習可能な事前分布として効果的に機能するか？ガウス事前分布を上回る性能を示すか？
• RQ2 FIDスコアと視覚的忠実度の観点から、拡散事前分布を用いたVAEの生成品質は、正規化流れ事前分布を用いたVAEと比べてどうか？
• RQ3 拡散事前分布は、CelebA や CIFAR10 といった複雑なデータ分布に対して、より表現力があり、互換性のある事前分布を提供するか？
• RQ4 拡散事前分布をVAEで使用する際、FIDスコアは人間の知覚的サンプル品質を十分に反映していると言えるか？
• RQ5 VAEの圧縮と拡散モデリングの組み合わせにより、より単純なデコーダアーキテクチャでも、サンプル品質が向上するか？

主な発見

• CelebAデータセットにおいて、40次元の潜在空間では拡散事前分布がFIDスコア114.8を達成し、ガウス事前分布（154.3）を上回り、正規化流れ（72.9）に近い性能を示した。
• CelebAで100次元の潜在空間を使用した場合、拡散事前分布はFID 67.95を達成し、ガウス事前分布（149.4）を著しく上回り、NFベースライン（59.49）に近づいた。
• CIFAR10では100次元の潜在空間で、拡散事前分布がFID 160.5を達成したが、ガウス事前分布（126.2）よりわずかに悪い結果となった。しかし、視覚的評価ではガウス事前分布よりより現実的なサンプルを生成していた。
• FIDスコアが高めでも、CIFAR10における拡散事前分布のサンプルは、ガウス事前分布のものよりも現実的であると評価された。これは、FIDスコアが人間の知覚的品質を完全に反映していない可能性を示唆している。
• 正規化流れ事前分布は両データセットで最高のFIDスコアを達成したが、視覚的品質が一貫して優れているとは限らず、FIDスコアのみではサンプル品質の評価が不十分であることが示唆された。
• 結果から、特にサンプルの現実性と階層的アーキテクチャとの相性を考慮すると、拡散事前分布はVAEにおける事前分布モデリングの正規化流れの強力な代替手段であると考えられる。