[論文レビュー] Inversion by Direct Iteration: An Alternative to Denoising Diffusion for Image Restoration

Mauricio Delbracio, Peyman Milanfar|arXiv (Cornell University)|Mar 20, 2023

Photoacoustic and Ultrasonic Imaging被引用数 30

ひとこと要約

InDIは degraded imageを小さなステップで反復的に復元し、単一ステップの平均値回帰を回避して、運動ブレ、ブレ補正、デフォーカス、超解像、圧縮 artifacts のタスクで perceptual qualityを向上させる。時間tで条件付けられた反復復元関数を学習し、既知の劣化モデルを必要としない。

ABSTRACT

Inversion by Direct Iteration (InDI) is a new formulation for supervised image restoration that avoids the so-called "regression to the mean" effect and produces more realistic and detailed images than existing regression-based methods. It does this by gradually improving image quality in small steps, similar to generative denoising diffusion models. Image restoration is an ill-posed problem where multiple high-quality images are plausible reconstructions of a given low-quality input. Therefore, the outcome of a single step regression model is typically an aggregate of all possible explanations, therefore lacking details and realism. The main advantage of InDI is that it does not try to predict the clean target image in a single step but instead gradually improves the image in small steps, resulting in better perceptual quality. While generative denoising diffusion models also work in small steps, our formulation is distinct in that it does not require knowledge of any analytic form of the degradation process. Instead, we directly learn an iterative restoration process from low-quality and high-quality paired examples. InDI can be applied to virtually any image degradation, given paired training data. In conditional denoising diffusion image restoration the denoising network generates the restored image by repeatedly denoising an initial image of pure noise, conditioned on the degraded input. Contrary to conditional denoising formulations, InDI directly proceeds by iteratively restoring the input low-quality image, producing high-quality results on a variety of image restoration tasks, including motion and out-of-focus deblurring, super-resolution, compression artifact removal, and denoising.

研究の動機と目的

• “一発復元”における回帰-to-the-meanの制約に対処する
• 画像品質を徐々に改善する反復復元フレームワークを提案する
• 対になった学習データを用いて明示的な劣化モデルに依存しない
• 運動/ブレ補正、SR、圧縮アーティファクトなど、複数の復元タスクへ適用性を示す
• 拡散様式のアイデアと関連づけつつ、モデル・劣化モデルに依存しないことを示す

提案手法

• 高品質xと低品質yの間の中間状態を生成するために前方劣化をx_t = (1-t)x + t y、t ∈ [0,1]として定義する
• 各時間ステップでx_tからxを予測する条件付き回帰器F_θ(x_t, t)を1つ訓練する
• 反復的に x_{t-δ} = (δ/t)F_θ(x_t, t) + (1−δ/t)x_t と更新し、δはステップサイズを制御する（しばしば δ=1/N）
• 入力にノイズを加えるオプションの確率的摂動は、ポステリオ現実性を明確にし、知覚品質を改善する
• 連続極限では、残差流れODE dx_t/dt = (x_t − F_θ(x_t, t))/t を導出し、ガウスノイズケースのスコアベースDSMと関連づける
• 推論アルゴリズム（Algorithm 1）を提供し、y（または小さなノイズを加えたy）から開始してx_0へ繰り返し推定する

実験結果

リサーチクエスチョン

• RQ1 反復的小ステップ復元は、テクスチャとリアリズムの保持において1ショット回帰より優れているか？
• RQ2 ペアデータから学習することで、劣化モデルを知らなくても多様で高品質な画像を復元できるか？
• RQ3 推論ステップ数は、タスクを横断して知覚-歪みトレードオフにどのように影響するか？
• RQ4 InDIは拡散ベースのアプローチとどのように関連し、ガウス劣化下でDSMのような振る舞いを再現できるか？
• RQ5 復元時に入力に制御されたノイズを加えることは、知覚的結果を改善するか？

主な発見

• 単一ステップ回帰より知覚品質で優れており、拡散モデルの結果に近づきつつ、より単純で劣化モデルに依存しない
• GoProのモーションデブラーリングで、手法は最先端の知覚指標を達成し、PSNR/SSIMも競争力がある
• ステップ数を増やすと知覚指標は改善する一方でPSNRは低下し、知覚-歪みのトレードオフを示す
• div2kで4×超解像では、PSNRは競争的で、知覚スコア（LPIPSが低い）は複数の回帰ベース手法より良く、拡散ベース手法に近い
• 本手法は運動/ブレ補正、デフォーカスデブラー、JPEGアーティファクト除去、超解像へ一般化でき、段階的復元と時折のノイズ摂動の利点を分析で示す
• ガウス劣化設定では、ODEが既知のスコアマッチング拡散ダイナミクスと整合し、理論的整合性を示す