[論文レビュー] Zero-Shot Image Restoration Using Denoising Diffusion Null-Space Model

Yinhuai Wang, Jiwen Yu+1 more|arXiv (Cornell University)|Dec 1, 2022

Photoacoustic and Ultrasonic Imaging被引用数 94

ひとこと要約

本論文は DDNM を提案する。事前学習済みの拡散モデルを用いて任意の線形画像復元タスクをゼロショットで解くフレームワークであり、データ整合性とリアリズムを確保するためにヌル空間の内容のみを洗練させる。拡張版の DDNM+ はノイズのあるケースに対応し復元品質を向上させる。

ABSTRACT

Most existing Image Restoration (IR) models are task-specific, which can not be generalized to different degradation operators. In this work, we propose the Denoising Diffusion Null-Space Model (DDNM), a novel zero-shot framework for arbitrary linear IR problems, including but not limited to image super-resolution, colorization, inpainting, compressed sensing, and deblurring. DDNM only needs a pre-trained off-the-shelf diffusion model as the generative prior, without any extra training or network modifications. By refining only the null-space contents during the reverse diffusion process, we can yield diverse results satisfying both data consistency and realness. We further propose an enhanced and robust version, dubbed DDNM+, to support noisy restoration and improve restoration quality for hard tasks. Our experiments on several IR tasks reveal that DDNM outperforms other state-of-the-art zero-shot IR methods. We also demonstrate that DDNM+ can solve complex real-world applications, e.g., old photo restoration.

研究の動機と目的

• さまざまな劣化演算子に跨るタスク固有の IR 手法の一般化可能性の欠如を動機づけ、対処する。
• IR を range-null space 問題として扱い、ヌル空間を埋めてリアリズムを実現する拡散モデルを利用する普遍的なゼロショットフレームワーク（DDNM）を提案する。
• 任意の線形劣化に対してデータ整合性を確保しつつ、タスク固有の訓練やネットワークの変更を回避する。
• DDNM+ へ拡張しノイズのある復元に対応し復元品質を向上させる。古写真復元のような現実世界のシナリオを含む。

提案手法

• IR を A x = y および x = A†y + (I - A†A) x を用いた range-null space 分解として定式化する。
• データ整合性を確保するために range-space 部分 A†y を固定したまま、ヌル空間成分 (I - A†A) x のみを生成するよう事前学習済み拡散モデルを利用する。
• xt から x0 を推定するように reverse diffusion を再パラメータ化し、x0|t = (1/√ᾱt)(xt − Zθ(xt, t)√(1 − ᾱt)) にする。
• 固定された range-space 部分 A†y と学習されたヌル空間成分を組み合わせて x0|t を整合させる: x̂0|t = A†y + (I − A†A) x0|t、そして p(xt−1|xt, x̂0|t) から xt−1 をサンプルする。
• DDNM+ によるノイズ耐性の強化のため、range-space 修正と拡散ノイズを調整するスケーリング行列 Σt と Φt を導入する。グローバルな一貫性と復元品質を改善するための time-travel のトリックを含む。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み拡散モデルは、タスク固有の訓練を要せず、任意の線形 IR 問題をゼロショットの事前知識として解決できるだろうか？
• RQ2 range-null space 分解を用いて、多様な劣化（A および y）に対して現実的な復元を達成しつつ、データ整合性をどのように保証できるか？
• RQ3 提案された time-travel メカニズムとノイズ認識拡張（DDNM+）は、ノイズのあるまたは困難なタスクに対して復元品質と堅牢性を向上させるか？
• RQ4 DDNM/DDNM+ の古写真復元や現実世界のノイズシナリオといった現実的な劣化への実用性はどれくらいか？

主な発見

• DDNM は、SR、カラー化、CS、インペインティング、デブラーリングなど複数のタスクにおいて、タスク固有の訓練なしでゼロショット IR 手法の中で最先端の性能を達成している。
• DDNM+ はデノイズや復元品質を大幅に改善し、time-travel トリックは Realness（FID の低下）と整合性に顕著な利得をもたらす。
• 本手法は range-space 成分 A†y による厳密なデータ整合性を提供するとともに、拡散ベースのヌル空間リファインメントをリアリズムのために活用する。
• DDNM/DDNM+ はさまざまな劣化タイプおよび現実世界の劣化に対して堅牢であり、古写真復元などの応用を可能にする。