[論文レビュー] Simple diffusion: End-to-end diffusion for high resolution images

Emiel Hoogeboom, Jonathan Heek+1 more|arXiv (Cornell University)|Jan 26, 2023

Advanced Neuroimaging Techniques and Applications被引用数 27

ひとこと要約

本論文は、512x512 までの高解像度画像を生成するために、ノイズスケジュールの調整、低解像度でのアーキテクチャのスケーリング、ターゲットドロップアウト、およびダウンサンプリング戦略を用いて、単一段階のエンドツーエンド拡散モデルを提示し、サンプリング修飾子なしで最先端の結果を達成する。

ABSTRACT

Currently, applying diffusion models in pixel space of high resolution images is difficult. Instead, existing approaches focus on diffusion in lower dimensional spaces (latent diffusion), or have multiple super-resolution levels of generation referred to as cascades. The downside is that these approaches add additional complexity to the diffusion framework. This paper aims to improve denoising diffusion for high resolution images while keeping the model as simple as possible. The paper is centered around the research question: How can one train a standard denoising diffusion models on high resolution images, and still obtain performance comparable to these alternate approaches? The four main findings are: 1) the noise schedule should be adjusted for high resolution images, 2) It is sufficient to scale only a particular part of the architecture, 3) dropout should be added at specific locations in the architecture, and 4) downsampling is an effective strategy to avoid high resolution feature maps. Combining these simple yet effective techniques, we achieve state-of-the-art on image generation among diffusion models without sampling modifiers on ImageNet.

研究の動機と目的

• 潜在空間やカスケードを用いずに高解像度画像生成のための拡散モデルを動機づける。
• 高解像度での性能向上を目指し、標準的な拡散に対する単純で狙いを定めた改良を提案する。
• 高解像度画像（最大512×512）をエンドツーエンドで訓練・サンプリングすることを実証する。
• 既存の拡散アプローチと比較し、サンプリング修飾子なしで ImageNet における最先端結果を確立する。

提案手法

• 参照解像度に対して対数SNRをシフトすることで、高解像度画像のノイズスケジュールを調整する。
• 学習中に低周波・高周波情報のバランスを取るためにマルチスケール訓練損失を使用する。
• アーキテクチャを主に16×16解像度でスケーリングして利用効率と性能を向上させる。
• 高解像度の特徴マップのダウンサンプリングを導入（DWTやパッチ処理による）し、品質を保ちながらメモリ爆発を回避する。
• 低解像度ブロックに選択的にドロップアウトを組み込んで正則化し、高解像度層を害さない。
• U-ViT アーキテクチャ（Vision Transformer バックボーンを備えた U-Net）を強化されたバックボーンの選択肢として提示する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間やカスケード型超解像なしで、高解像度画像に対して標準的な拡散モデルをエンドツーエンドで訓練するにはどうすればよいか？
• RQ2 ノイズスケジュール、アーキテクチャのスケーリング、正則化、ダウンサンプリングの単純な改良で、高解像度で最先端の結果を生み出すのはどれか？
• RQ3 単一の拡散モデルは ImageNet規模の生成において、段階的/潜在的アプローチに匹敵する、またはそれを上回ることができるのか？
• RQ4 高解像度拡散において、従来の U-Net と比較して U-ViT バックボーンを使用することの影響は何か？
• RQ5 高解像度での単一段階拡散モデルにおけるテキスト条件付けの性能はどうか？

主な発見

• 解像度に応じて拡散ノイズスケジュールをシフトするとサンプル品質が向上し、特に256×256および512×512で顕著である。
• 主に16x16解像度ブロックのスケーリングと、任意でU-ViTバックボーンを使用することで高い性能が得られる。
• 低解像度ブロックへの選択的ドロップアウトは高解像度層を劣化させずにモデルを正則化する。
• 高解像度の特徴マップをダウンサンプリングする（DWTまたは畳み込みベースのダウンサンプリングを介して）ことで、トレーニングの速度が大幅に向上し、サンプル品質が改善される可能性がある。
• これらの変更を組み込んだ単一のエンドツーエンド拡散モデルは、サンプリング修飾子なしで ImageNet で最先端のFIDを達成する。
• テキストから画像への場合、条件付けを備えた単一段階の拡散モデルは、COCOなどの関連ベンチマークでいくつかの既存モデルに近づく、または上回ることができる。