[論文レビュー] Patched Denoising Diffusion Models For High-Resolution Image Synthesis

Zheng Ding, Mengqi Zhang+2 more|arXiv (Cornell University)|Aug 2, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

Patch-DM は、64×64 の小さな画像パッチで学習することで、高解像度画像合成（例：1024×512）を実現するパッチベースのノイズ除去拡散モデルを提案する。新たな特徴コラージュ戦略を導入し、隣接するずらされたパッチからの特徴を切り取り・統合することで境界アーチファクトを低減し、メモリ計算量を削減しながら最先端の FID スコアを達成した。

ABSTRACT

We propose an effective denoising diffusion model for generating high-resolution images (e.g., 1024$ imes$512), trained on small-size image patches (e.g., 64$ imes$64). We name our algorithm Patch-DM, in which a new feature collage strategy is designed to avoid the boundary artifact when synthesizing large-size images. Feature collage systematically crops and combines partial features of the neighboring patches to predict the features of a shifted image patch, allowing the seamless generation of the entire image due to the overlap in the patch feature space. Patch-DM produces high-quality image synthesis results on our newly collected dataset of nature images (1024$ imes$512), as well as on standard benchmarks of smaller sizes (256$ imes$256), including LSUN-Bedroom, LSUN-Church, and FFHQ. We compare our method with previous patch-based generation methods and achieve state-of-the-art FID scores on all four datasets. Further, Patch-DM also reduces memory complexity compared to the classic diffusion models.

研究の動機と目的

• 高メモリ・高計算コストを伴う高解像度拡散モデルのトレーニングの課題に対処すること。
• パッチベースの画像生成における境界アーチファクトを克服し、パッチ端縁での画像品質を低下させないこと。
• 超解像後処理や潜在空間最適化を経ずに、直接的な高解像度画像合成を可能にすること。
• グローバルな整合性とパッチ間のローカル整合性を維持する、軽量でコンactなモデルを設計すること。
• 最小パrameterアーキテクチャを用いて、高解像度および標準ベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• モデルの複雑さを低減するため、フル解像度画像ではなく小さな画像パッチ（例：64×64）でノイズ除去拡散モデルをトレーニングする。
• 重複する隣接パッチからの部分的特徴を用いて、ずらされた画像パッチの特徴を予測する、特徴コラージュ戦略を導入する。
• スライディングウィンドウ機構を用いて、位置がずらされたパッチを生成することで、パッチ境界を越えた特徴共有と一貫性を実現する。
• グローバルな意味的条件と学習可能な位置埋め込みを組み込み、意味的整合性と空間的アライメントをガイドする。
• 推論では、各パッチの特徴を特徴コラージュにより文脈的に隣接するパッチから得る、ウィンドウずれ順のパッチ生成を実行する。
• 文脈的認識を活用することで、画像生成およびゼロショットインpaintingの両方のタスクにモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 超解像処理や潜在空間最適化を経ずに、パッチベースの拡散モデルが、アーチファクトのない高品質な高解像度画像合成を達成できるか。
• RQ2 隣接するパッチ間での特徴共有を効果的にモデル化することで、パッチベース生成における境界アーチファクトをどのように低減できるか。
• RQ3 パッチベースの拡散モデルにおいて、グローバルな意味的整合性とローカルな構造的一致性を維持するために、どのような要素が不可欠か。
• RQ4 ピクセルレベルのずれや固定パッチ生成と比較して、特徴レベルでのウィンドウずれが、画像品質においてどの程度優れているか。
• RQ5 提案手法は、微調整なしにゼロショットインpaintingに一般化可能か。周囲のパッチからの文脈的認識を活用できるか。

主な発見

• Patch-DM は、LSUN-Church データセット（1k サンプル）で、最先端の FID スコア 37.99 を達成し、先行するパッチベース手法を上回った。
• アブレーションスタディにより、グローバルな意味的条件と位置埋め込みが不可欠であることが確認され、それぞれ省略した場合の FID は 79.33 および 48.82 に上昇した。
• コラージュを用いた特徴レベルのウィンドウずれは、ピクセル空間でのずれよりも境界アーチファクトを顕著に低減し、FID スコア（固定：49.80、ランダム：52.11）を提案手法の 37.99 よりも悪化させた。
• モデルは、たった 148M パラメータで、新たに収集した自然画像データセットを用いて、1024×512 の高品質な画像を生成し、強力なスケーラビリティを示した。
• Patch-DM は、周囲のパッチからの文脈的特徴を活用することで、再トレーニングなしにゼロショット画像インpaintingを実現し、マスク領域を一貫して回復した。
• 特徴コラージュ機構により、重複するずらされたパッチ生成を通じて特徴の一貫性を確保し、パッチ間で滑らかな画像合成を実現した。