[論文レビュー] Hierarchical Integration Diffusion Model for Realistic Image Deblurring
HI-Diff は拡散モデルを非常に圧縮された潜在空間に組み込み、階層的統合モジュールを介してその事前情報を回帰ベースの Transformer に統合することで、特に複雑なブラーや実世界データセットにおいて最先端のデブラーリングを実現します。
Diffusion models (DMs) have recently been introduced in image deblurring and exhibited promising performance, particularly in terms of details reconstruction. However, the diffusion model requires a large number of inference iterations to recover the clean image from pure Gaussian noise, which consumes massive computational resources. Moreover, the distribution synthesized by the diffusion model is often misaligned with the target results, leading to restrictions in distortion-based metrics. To address the above issues, we propose the Hierarchical Integration Diffusion Model (HI-Diff), for realistic image deblurring. Specifically, we perform the DM in a highly compacted latent space to generate the prior feature for the deblurring process. The deblurring process is implemented by a regression-based method to obtain better distortion accuracy. Meanwhile, the highly compact latent space ensures the efficiency of the DM. Furthermore, we design the hierarchical integration module to fuse the prior into the regression-based model from multiple scales, enabling better generalization in complex blurry scenarios. Comprehensive experiments on synthetic and real-world blur datasets demonstrate that our HI-Diff outperforms state-of-the-art methods. Code and trained models are available at https://github.com/zhengchen1999/HI-Diff.
研究の動機と目的
- 複雑で不均一なブラー下での画質デブラーリングの改善と詳細情報の保持を動機づける。
- 拡散モデルを活用して情報量豊富な事前情報を生成しつつ歪み精度を維持する。
- 階層的な多尺度融合を回帰ベースのバックボーンと組み合わせ、ブラーリング状況全般の一般化を向上させる。
提案手法
- 事前特徴の高度に圧縮された潜在表現を学習するための二段階学習フレームワークを使用。
- Stage 1: 潜在エンコーダが GT 画像をコンパクトな prior z に圧縮し、Hierarchical Integration Module (HIM) を介して Restormer ベースの Transformer に統合。
- Stage 2: ブラーに関連する潜在コードを条件付けし、ガウスノイズから prior feature z を生成する潜在拡散モデルを訓練し、HIM を介して拡散モデルと Transformer を共同訓練。
- Hierarchical Integration Module (HIM) は Transformer の中間特徴とマルチスケール prior feature z1, z2, z3 の間にクロスアテンションを行い、複数のスケールから情報を融合。
- 潜在拡散モデルは計算負荷を減らすため、非常にコンパクトな潜在空間(N=16 トークン、C'=256)で動作。
- 訓練目的はデブラーリング損失(デブラーリング結果と GT の L1)と拡散損失( hat{z} と z の L1 )を組み合わせて、拡散事前情報と回帰バックボーンを整合させる。
実験結果
リサーチクエスチョン
- RQ1拡散事前情報をどのようにして回帰ベースのデブラーリングモデルに効果的に統合し、歪みベースの指標を損なうことなく細部再現を向上させることができるか?
- RQ2高圧縮潜在空間での拡散モデルと階層的・多尺度融合は、実世界のブラーへの一般化を改善するか?
- RQ3拡散事前情報と Transformer の共同訓練はデブラーリング性能と安定性にどのような影響を与えるか?
- RQ4潜在空間における拡散反復回数(T)が事前情報と最終デブラーリング品質に与える影響はどのくらいか?
主な発見
- HI-Diff は GoPro、HIDE、RealBlur データセットで 16 本のベースラインと比較して最先端の PSNR/SSIM を達成。
- 潜在空間での拡散事前情報の組み込みは、ベースラインの Restormer に比べて最大で約 0.28 dB の PSNR 改善をもたらす。
- 階層的な多尺度 prior 統合は単一スケールの priors よりも大幅に優れており(単一スケール使用時の 0.24 dB PSNR 減少)。
- 拡散モデルと Transformer の共同訓練は、拡散モデルのみの訓練に対して性能を大幅に向上させる(約 1.51 dB の PSNR 改善)。
- 潜在空間では低次元 priors のため、拡散反復回数が少数(T が約 8 程度)で十分。
- GoPro 訓練後の RealBlur-R/J および RWBI への強い一般化を示し、いくつかの最先端手法を上回る。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。