[論文レビュー] Diffusion Models for Image Restoration and Enhancement: A Comprehensive Survey

Xin Li, Yulin Ren+6 more|arXiv (Cornell University)|Aug 18, 2023

Advanced Image Processing Techniques被引用数 41

ひとこと要約

拡散モデルベースの画像復元と強化の包括的な調査で、監視付きおよびゼロショットアプローチ、データセット、評価、および将来の方向性を詳述する。

ABSTRACT

Image restoration (IR) has been an indispensable and challenging task in the low-level vision field, which strives to improve the subjective quality of images distorted by various forms of degradation. Recently, the diffusion model has achieved significant advancements in the visual generation of AIGC, thereby raising an intuitive question, "whether diffusion model can boost image restoration". To answer this, some pioneering studies attempt to integrate diffusion models into the image restoration task, resulting in superior performances than previous GAN-based methods. Despite that, a comprehensive and enlightening survey on diffusion model-based image restoration remains scarce. In this paper, we are the first to present a comprehensive review of recent diffusion model-based methods on image restoration, encompassing the learning paradigm, conditional strategy, framework design, modeling strategy, and evaluation. Concretely, we first introduce the background of the diffusion model briefly and then present two prevalent workflows that exploit diffusion models in image restoration. Subsequently, we classify and emphasize the innovative designs using diffusion models for both IR and blind/real-world IR, intending to inspire future development. To evaluate existing methods thoroughly, we summarize the commonly-used dataset, implementation details, and evaluation metrics. Additionally, we present the objective comparison for open-sourced methods across three tasks, including image super-resolution, deblurring, and inpainting. Ultimately, informed by the limitations in existing works, we propose five potential and challenging directions for the future research of diffusion model-based IR, including sampling efficiency, model compression, distortion simulation and estimation, distortion invariant learning, and framework design.

研究の動機と目的

• 画像復元における主観的な質感の一体性を解決するために拡散モデルの活用を動機づける。
• IRに関連する拡散モデルの基礎、アーキテクチャ、および条件付け戦略を要約する。
• SR、デブラー、インペインティングなどのタスクにおける監視付きおよびゼロショット拡散モデルIR手法を分類・比較する。
• 実世界の（ブラインド）IRの課題と実践配備の設計方針について議論する。
• 将来のIR拡散モデル研究を指針づけるベンチマーク、データセット、評価の考慮事項を提供する。

提案手法

• 基礎となる拡散モデルのバリアント（NCSN、DDPM、SDE）とそれらの訓練/サンプリングの違いをレビューする。
• 二つの主要なIRワークフローを説明する：監視型拡散モデルIR（ペアから訓練）とゼロショット拡散モデルIR（事前学習済みプリオリを利用）。
• 結合、前処理した参照、パッチベースの処理などの条件付け戦略と、生成空間（画像、残差、潜在）を説明する。
• 実世界IRの拡張を要約する：歪みシミュレーション、カーネル推定、歪みに不変な学習を通じたブラインド/実世界の劣化処理。
• オープンソースの手法とデータセットを用いて、SR、デブラー、インペインティング間の客観的比較を提供する。
• サンプリング効率、モデル圧縮、歪みシミュレーション/推定、フレームワーク設計を含む課題と将来の方向性を概説する。

実験結果

リサーチクエスチョン

• RQ1 画像復元における監視型とゼロショット拡散モデルアプローチの核心的な違いは何か？
• RQ2 構造と質感を保持しつつ劣化した画像を効果的に復元するように拡散モデルをどのように条件付けできるか？
• RQ3 拡散モデルベースのIR手法の品質を最もよく捉えるデータセット、指標、評価実践は何か？
• RQ4 拡散モデルIRを実世界のブラインド劣化と未知の歪みに拡張するにはどうすればよいか？
• RQ5 実践での効率性と適用性を改善するための主要な研究方向は何か？

主な発見

• 拡散モデルは質感生成と忠実度においてGANベースのIR手法を上回ることがある。
• 単純な条件付け（例：結合）による監視IRは強いSR結果を達成でき、前処理参照はアーティファクトに対する頑健性を向上させる。
• ゼロショット手法は事前訓練済み生成事前知識を活用してトレーニング不要の復元を可能にし、見たことのない劣化に対する適用範囲を拡大する。
• 実世界のIRは歪みシミュレーション、カーネル推定、および歪みに不変な学習によってブラインド劣化に対処する利点がある。
• SR、デブラー、インペインティングを横断するIR拡散モデルには多様なデータセットと評価実践が用いられ、オープンソースのベンチマークと比較が行われている。