[論文レビュー] Diffusion Models, Image Super-Resolution And Everything: A Survey

Brian B. Moser, Arundhati S. Shanbhag+4 more|arXiv (Cornell University)|Jan 1, 2024

Advanced Image Processing Techniques被引用数 6

ひとこと要約

この調査は拡散モデルを画像超解像に適用する基礎と現在の動向を統合し、核心的な定式化（DDPM、SGM、SDE）、条件付け、ドメイン特有の課題を詳述します。

ABSTRACT

Diffusion Models (DMs) have disrupted the image Super-Resolution (SR) field and further closed the gap between image quality and human perceptual preferences. They are easy to train and can produce very high-quality samples that exceed the realism of those produced by previous generative methods. Despite their promising results, they also come with new challenges that need further research: high computational demands, comparability, lack of explainability, color shifts, and more. Unfortunately, entry into this field is overwhelming because of the abundance of publications. To address this, we provide a unified recount of the theoretical foundations underlying DMs applied to image SR and offer a detailed analysis that underscores the unique characteristics and methodologies within this domain, distinct from broader existing reviews in the field. This survey articulates a cohesive understanding of DM principles and explores current research avenues, including alternative input domains, conditioning techniques, guidance mechanisms, corruption spaces, and zero-shot learning approaches. By offering a detailed examination of the evolution and current trends in image SR through the lens of DMs, this survey sheds light on the existing challenges and charts potential future directions, aiming to inspire further innovation in this rapidly advancing area.

研究の動機と目的

• 拡散モデルを画像超解像（SR）に適用する理論的基盤を要約する。
• 従来の手法と比較したDMベースのSRの特徴、方法、および課題を分析する。
• SRにおける入力ドメイン、条件付け、ガイダンス、破壊（劣化）空間、ゼロショット学習を含む現在の研究動向を整理する。
• DMの原理と、それらがSRの研究と実践にどのように影響するかの一貫したロードマップを提供する。

提案手法

• DDPM、SGM、SDEの定式化とそれらの前方/後方の拡散過程を説明する。
• KLダイバージェンス/VLBとスコアマッチングに基づく訓練目的を説明する。
• LR入力と劣化モデルを組み込んだ条件付きバリアントを論じる。
• 効率的なサンプリングと尤度推定の強化を概説し、それらがSR品質に与える影響を述べる。
• 潜在空間/ウェーブレットドメインなどのドメイン特有の適応とNull-Spaceモデルをレビューする。

Figure 1 : Principle of diffusion models. The forward diffusion adds noise iteratively (red), which translates an image from the image space to the corruption space. The backward diffusion, the iterative refinement process, reverts the process (blue) back to the image space. Shown are three differen

実験結果

リサーチクエスチョン

• RQ1 画像SRに用いられる核となる拡散モデルの定式化（DDPM、SGM、SDE）は何か、そしてそれらはどのように関連するのか？
• RQ2 拡散モデルを用いて高品質なSRを実現する、主なアーキテクチャ、訓練、サンプリングの戦略は何か？
• RQ3 SRタスクにおいて、拡散モデルは従来の生成手法（GAN、VAE、フロー型法）とどのように比較されるか？
• RQ4 DMをSRへ適用する際の課題とドメイン特有の考慮事項（例：医用画像、リモートセンシング）は何か？
• RQ5 DMベースの画像SRにおける今後の方向性と研究アベニューは何か？

主な発見

• 拡散モデルは、人的知覚判断に合致する高忠実度サンプルを生成することで、画像SRを革新した。
• DDPM、SGM、SDEは補完的な視点を提供し、SRの拡散ベースのフレームワークの下で統一できる。
• 条件付き拡散モデルはLR入力を統合して条件付きSRを行うことができる。
• サンプリング効率とサンプル品質の間にはトレードオフがあり、それは改善された拡散定式化とサンプリング戦略によって対処される。
• DMはSRの代替入力ドメインと条件付け戦略の探索を可能にし、ドメイン特有の適応を伴う。
• この調査は高い計算要求、比較可能性、説明可能性、色ずれ、ゼロショット学習の機会といった継続的な課題を特定している。

Figure 2 : Conceptual overview of generative models (GANs, VAEs, NFs, and DMs).