[論文レビュー] DiracDiffusion: Denoising and Incremental Reconstruction with Assured Data-Consistency

Zalan Fabian, Berk Tınaz+1 more|PubMed|Mar 25, 2023

Topological and Geometric Data Analysis被引用数 4

ひとこと要約

DiracDiffusionは、観測プロセスを確率的劣化としてモデル化する、逆問題における拡散ベースのフレームワークを提案する。逆拡散による後処理を伴わないデータ整合性のある再構成が可能であり、早期停止を用いることで、視認性の質と歪度指標の間で柔軟なトレードオフを実現する。Deblurringおよびインpaintingタスクにおいて、PSNRおよびLPIPSスコアの向上を伴い、最先端の性能を達成する。

ABSTRACT

Diffusion models have established new state of the art in a multitude of computer vision tasks, including image restoration. Diffusion-based inverse problem solvers generate reconstructions of exceptional visual quality from heavily corrupted measurements. However, in what is widely known as the perception-distortion trade-off, the price of perceptually appealing reconstructions is often paid in declined distortion metrics, such as PSNR. Distortion metrics measure faithfulness to the observation, a crucial requirement in inverse problems. In this work, we propose a novel framework for inverse problem solving, namely we assume that the observation comes from a stochastic degradation process that gradually degrades and noises the original clean image. We learn to reverse the degradation process in order to recover the clean image. Our technique maintains consistency with the original measurement throughout the reverse process, and allows for great flexibility in trading off perceptual quality for improved distortion metrics and sampling speedup via early-stopping. We demonstrate the efficiency of our method on different high-resolution datasets and inverse problems, achieving great improvements over other state-of-the-art diffusion-based methods with respect to both perceptual and distortion metrics.

研究の動機と目的

• 拡散ベースの逆問題解法における、認識品質と歪度のトレードオフを解決すること。特に、高い認識品質はPSNRなどの歪度指標が低くなる代償を伴うことが多い。
• 逆拡散プロセスの全期間にわたり、元の測定値と厳密に整合する再構成を維持すること。これにより、後処理のためのプロジェクションや補正の必要性を排除する。
• サンプリング中に早期停止を許容することで、再構成品質を柔軟に制御すること。認識品質を犠牲にして歪度の向上と高速な推論を達成する。
• 前方劣化プロセスを、継続的かつ確率的な汚染としてモデル化し、拡散プロセスを物理的またはアルゴリズム的劣化メカニズムと直接一致させる。
• CelebA-HQおよびImageNetデータセット上での高解像度逆問題、特にDeblurringおよびInpaintingを含む多様なタスクで最先端の結果を達成すること。

提案手法

• 本手法は、継続的に汚染されるクリア画像を段階的に劣化させる確率的劣化プロセスとして前方プロセスをモデル化し、観測値は元の信号のノイズを含むバージョンである。
• 同じ確率的汚染ダイナミクスに基づいて学習された拡散モデルを用いて、この特定の劣化プロセスを逆方向に再構築する。これにより、内在的なデータ整合性が保証される。
• 逆プロセスは構造的に元の測定値と整合するため、追加のプロジェクションステップや反復的補正を必要としない。
• 逆サンプリング軌道の任意の段階で早期停止を許容することで、再構成品質を柔軟に制御可能となる。認識品質を犠牲にして歪度の向上と速度の向上を実現する。
• サンプリング中に段階的に詳細が追加される特性を活用し、後段のステップで高周波成分が精錬される。これにより、最終出力品質の制御が可能になる。
• 前方SDEが測定モデルを明示的に符号化するため、劣化プロセスに端的に合わせてエンドツーエンドで訓練可能であり、さまざまな逆問題に直接適用可能である。

実験結果

リサーチクエスチョン

• RQ1 問題固有の確率的劣化プロセスで訓練された拡散モデルは、標準的な拡散モデルと比較して、より高いデータ整合性と歪度指標を達成できるか？
• RQ2 逆サンプリングプロセスにおける早期停止は、逆問題再構成における認識品質と歪度のトレードオフにどのように影響するか？
• RQ3 一度の逆サンプリング軌道から、認識品質と歪度特性が異なる複数の再構成を得られるか？再実行なしに可能か？
• RQ4 実際の汚染メカニズムと一致する確率的プロセスとして前方劣化をモデル化することで、一般的なガウスノイズ追加と比較して再構成の忠実度が向上するか？
• RQ5 本手法は、高解像度データセット上でのPSNR、SSIM、LPIPSの観点から、既存の拡散ベースの逆問題ソルバーをどの程度上回るか？

主な発見

• DiracDiffusionは、CelebA-HQおよびImageNetデータセット上でのDeblurringおよびInpaintingタスクにおいて、両方の認識品質と歪度指標で、既存の拡散ベース手法を上回る最先端の性能を達成した。
• 本手法は、ベースライン手法と比較して最大1.5 dBも高いPSNRスコアを達成したが、LPIPSによる測定で認識品質は維持または向上させた。
• 早期停止を可能にすることで、ユーザーは最小限の計算オーバーヘッドで、認識品質を犠牲にして歪度の忠実度（例：高いPSNR）を向上させた再構成を得られる。
• 10サンプルにわたる不確実性マップは、再構成の分散が低く、特に早期停止の状態でも安定した一貫性のあるサンプリング動作を示している。
• DPS、DDRM、PnP-ADMM、ADMM-TVといった強力なベースラインと比較して、定量的指標と視覚的品質の両面で優れており、特に高周波成分の回復において顕著な優位性を示した。
• 本フレームワークは、ガウスノイズによるDeblurringやInpaintingを含む多様な逆問題に対して、高解像度データ上でも一貫した改善を示し、高いロバスト性を示した。