[論文レビュー] DiVAE: Photorealistic Images Synthesis with Denoising Diffusion Decoder

Jie Shi, Chenfei Wu+3 more|arXiv (Cornell University)|Jun 1, 2022

Generative Adversarial Networks and Image Synthesis被引用数 11

ひとこと要約

DiVAEは、離散的画像埋め込みを条件として与えることで、顕著なリアルさを持つ画像を生成する、ノイズ除去拡散デコーダーを搭載したVQ-VAEフレームワークを提案する。テキストから画像への合成タスクにおいて、最先端のFIDスコア（11.53）を達成し、自己回帰的モデルからの埋め込みを用いることで、特に繊細なディテールの再構成において従来手法を上回る性能を発揮する。

ABSTRACT

Recently most successful image synthesis models are multi stage process to combine the advantages of different methods, which always includes a VAE-like model for faithfully reconstructing embedding to image and a prior model to generate image embedding. At the same time, diffusion models have shown be capacity to generate high-quality synthetic images. Our work proposes a VQ-VAE architecture model with a diffusion decoder (DiVAE) to work as the reconstructing component in image synthesis. We explore how to input image embedding into diffusion model for excellent performance and find that simple modification on diffusion's UNet can achieve it. Training on ImageNet, Our model achieves state-of-the-art results and generates more photorealistic images specifically. In addition, we apply the DiVAE with an Auto-regressive generator on conditional synthesis tasks to perform more human-feeling and detailed samples.

研究の動機と目的

• 従来のVAEデコーダーに代えて、拡散ベースのデコーダーを導入することで、マルチステージ生成モデルにおける画像埋め込みの再構成品質を向上させること。
• 高精細な画像生成を実現するため、離散的画像埋め込みを効果的に拡散モデルに条件づける方法を調査すること。
• 写真のようなリアルさと繊細なディテールを維持しつつ、画像再構成およびテキストから画像への合成で最先端の性能を達成すること。
• UNetアーキテクチャに、異なるネットワーク深さにおける画像埋め込みの有効な統合を可能にする修正を検討すること。

提案手法

• DiVAEは、離散的潜在コードから画像を再構成するように学習されたノイズ除去拡散デコーダーを搭載したVQ-VAEアーキテクチャを提案する。
• 特に最適なパフォーマンスを得るために、ボトルネック（中央）ブロックに画像埋め込みを連結または加算する方法で、標準的なUNetアーキテクチャを変更する。
• 前方のノイズ付与プロセスを逆転することで、潜在コードから高品質な画像を生成するノイズ除去拡散プロセスを採用する。
• ノイズ除去中に空間情報を保持するために、UNetに残差接続に基づくスキップ接続構造を採用する。
• 推論時に分類器フリー・ガイドランスを適用し、条件付き生成タスクにおけるサンプル品質を向上させる。
• ImageNet 256×256でモデルを学習し、テキストから画像への合成のため、自己回帰的プライアに微調整する。

実験結果

リサーチクエスチョン

• RQ1 離散的潜在コードから写真のようなリアルな画像を生成するために、VQ-VAEフレームワーク内に拡散モデルを効果的にデコーダーとして用いることは可能か？
• RQ2 UNetアーキテクチャのどの位置に画像埋め込みを注入するのが、最良の再構成忠実度を得る上で最も効果的か？
• RQ3 連結、加算、またはアテンションによる注入手法の違いが、生成画像の品質にどのように影響を与えるか？
• RQ4 マルチステージ合成において、標準的VAEや自己回帰的デコーダーと比較して、拡散デコーダーを用いることで画像のディテールとリアリズムが向上するか？
• RQ5 自己回帰的プライアと組み合わせたDiVAEは、テキストから画像への生成で最先端の性能を達成できるか？

主な発見

• DiVAEは、MSCOCO 256×256のテキストから画像へのベンチマークでFID 11.53を達成し、ゼロショットFIDにおいてDALL-E2（10.39）やVQ-Diffusion（13.86）を上回る性能を発揮した。
• 特に目や髪の毛のような繊細な構造の再構成において、ベースライン手法よりもより写真のようなリアルで詳細な画像を生成した。
• UNetの中央（ボトルネック）ブロックに画像埋め込みを注入した場合が最も良いFID（11.58）を記録し、エンコーダーまたはデコーダーのブロックに注入する場合を大きく上回った。
• 中央ブロックにおける連結と加算の両方の手法が同等の性能（FID 11.58 vs. 11.61）を示し、両者とも有効であることが示された。一方、アテンションベースの注入は性能が劣り（FID 13.35）、劣化が顕著に見られた。
• 同じ潜在コードを用いて比較したNUWAと比較して、DiVAEは特に高周波数のテクスチャや顔貌特徴においてよりリアルで詳細な画像を生成した。
• 強力な再構成能力のおかげで、マルチステージ合成における圧縮比を高めることができ、より効率的な事前学習を可能にした。