[논문 리뷰] Hierarchical Integration Diffusion Model for Realistic Image Deblurring
HI-Diff는 확산 모델을 매우 압축된 잠재 공간에 통합하고, 계층적 통합 모듈을 통해 그 사전(prior)을 회귀 기반 Transformer에 융합하여, 특히 복합적 블러 및 실제 데이터 세트에서 최첨단 디블러링 성능을 달성합니다.
Diffusion models (DMs) have recently been introduced in image deblurring and exhibited promising performance, particularly in terms of details reconstruction. However, the diffusion model requires a large number of inference iterations to recover the clean image from pure Gaussian noise, which consumes massive computational resources. Moreover, the distribution synthesized by the diffusion model is often misaligned with the target results, leading to restrictions in distortion-based metrics. To address the above issues, we propose the Hierarchical Integration Diffusion Model (HI-Diff), for realistic image deblurring. Specifically, we perform the DM in a highly compacted latent space to generate the prior feature for the deblurring process. The deblurring process is implemented by a regression-based method to obtain better distortion accuracy. Meanwhile, the highly compact latent space ensures the efficiency of the DM. Furthermore, we design the hierarchical integration module to fuse the prior into the regression-based model from multiple scales, enabling better generalization in complex blurry scenarios. Comprehensive experiments on synthetic and real-world blur datasets demonstrate that our HI-Diff outperforms state-of-the-art methods. Code and trained models are available at https://github.com/zhengchen1999/HI-Diff.
연구 동기 및 목표
- 복잡하고 비균일한 블러 하에서 더 나은 디테일 보존을 통해 이미지 디블러링 향상의 동기를 부여합니다.
- 확산 모델을 활용하여 왜곡 정확도를 유지하면서 정보성 있는 프라이어를 생성합니다.
- 회귀 기반 백본으로 계층적 다중 스케일 융합을 통해 흐릿한 상황 전반에 걸친 일반화를 향상시킵니다.
제안 방법
- 사전 특징에 대한 매우Compact한 잠재 표현을 학습하기 위해 두 단계 학습 프레임워크를 사용합니다.
- 1단계: 잠재 인코더가 GT 이미지를 압축하여 컴팩트한 프라이어 z로 만들고 이것을 계층적 통합 모듈(HIM)을 통해 Restormer 기반 Transformer에 통합합니다.
- 2단계: 가우시안 노이즈에서 프라이어 특징 z를 생성하도록 잠재 확산 모델을 학습하고, 흐림과 관련된 잠재 코드로 조건화하며, HIM을 통해 확산 모델과 Transformer를 공동으로 학습합니다.
- 계층적 통합 모듈(HIM)은 Transformer 중간 특징과 다중 스케일 프라이어 특징 z1, z2, z3 간 교차 어텐션을 수행하여 다중 스케일 정보를 융합합니다.
- 잠재 확산 모델은 계산 부하를 줄이기 위해 매우Compact한 잠재 공간(N=16 토큰, C'=256)에서 작동합니다.
- 학습 목표는 디블러링 손실(L1 - 디블러링 결과와 GT 간)과 확산 손실(L1 - hat{z}와 z 간)을 결합하여 확산 프라이어를 회귀 백본과 일치시키는 것을 포함합니다.
실험 결과
연구 질문
- RQ1확산 프라이어를 회귀 기반 디블러링 모델에 효과적으로 통합하여 디테일 재구성을 향상시킴과 동시에 왜곡 기반 지표를 해치지 않도록 할 수 있을까?
- RQ2매우 압축된 잠재 공간에서 계층적 다중 스케일 융합으로 확산 모델을 작동시키는 것이 실제 세계의 흐림에 대한 일반화를 향상시킬까?
- RQ3확산 프라이어와 Transformer의 공동 학습이 디블러링 성능과 안정성에 미치는 영향은 무엇일까?
- RQ4잠재 공간에서의 확산 반복(iterations) 수가 프라이어 및 최종 디블러링 품질에 어떤 영향을 미칠까?
주요 결과
- HI-Diff는 GoPro, HIDE, RealBlur 데이터셋에서 16개 기준선 대비 최첨단 PSNR/SSIM 성능을 달성합니다.
- 잠재 공간에서 확산 프라이어를 도입하면 기준 Restormer에 비해 PSNR이 최대 약 0.28 dB 향상됩니다.
- 계층적 다중 스케일 프라이어 융합은 단일 스케일 프라이어보다 현저히 우수하며(단일 스케일 사용 시 PSNR이 0.24 dB 떨어짐).
- 확산 모델과 Transformer의 공동 학습은 확산만 학습와 비교해 성능을 크게 향상시키며(약 1.51 dB PSNR 개선).
- 저차원 프라이어로인해 잠재 공간에서 비교적 적은 수의 확산 반복(T≈8)으로 충분합니다.
- Hi-Diff는 GoPro 학습 후 RealBlur-R/J 및 RWBI에 강한 일반화 성능을 보이며 여러 최첨단 방법을 능가합니다.]
- table_headers: ["방법", "GoPro PSNR", "GoPro SSIM", "HIDE PSNR", "HIDE SSIM", "RealBlur-R PSNR", "RealBlur-R SSIM", "RealBlur-J PSNR", "RealBlur-J SSIM"]
- table_rows: [["DeblurGAN [22]", "28.70", "0.858", "24.51", "0.871", "33.79", "0.903", "27.97", "0.834"], ["DeepDeblur [28]", "29.08", "0.914", "25.73", "0.874", "32.51", "0.841", "27.87", "0.827"], ["DeblurGAN-v2 [23]", "29.55", "0.934", "26.61", "0.875", "35.26", "0.944", "28.70", "0.866"], ["SRN [43]", "30.26", "0.934", "28.36", "0.915", "35.66", "0.947", "28.56", "0.867"], ["DBGAN [56]", "31.10", "0.942", "28.94", "0.915", "33.78", "0.909", "24.93", "0.745"], ["MT-RNN [30]", "31.15", "0.945", "29.15", "0.918", "35.79", "0.951", "28.44", "0.862"], ["DMPHN [55]", "31.20", "0.940", "29.09", "0.924", "35.70", "0.948", "28.42", "0.860"], ["SAPHN [42]", "31.85", "0.948", "29.98", "0.930", "N/A", "N/A", "N/A", "N/A"], ["SPAIR [32]", "32.06", "0.953", "30.29", "0.931", "N/A", "N/A", "28.81", "0.875"], ["MIMO-UNet+ [5]", "32.45", "0.957", "29.99", "0.930", "35.54", "0.947", "27.63", "0.837"], ["TTFA [4]", "32.50", "0.958", "30.55", "0.935", "N/A", "N/A", "N/A", "N/A"], ["MPRNet [54]", "32.66", "0.959", "30.96", "0.939", "35.99", "0.952", "28.70", "0.873"], ["HINet [2]", "32.71", "0.959", "30.32", "0.932", "35.75", "0.949", "28.17", "0.849"], ["Restormer [53]", "32.92", "0.961", "31.22", "0.942", "36.19", "0.957", "28.96", "0.879"], ["Stripformer [44]", "33.08", "0.962", "31.03", "0.940", "36.08", "0.954", "28.82", "0.876"], ["HI-Diff (ours)", "33.33", "0.964", "31.46", "0.945", "36.28", "0.958", "29.15", "0.890"]]} />
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.