[논문 리뷰] A low-complexity method for efficient depth-guided image deblurring

Ziyao Yi, Diego Valsesia외 2명|arXiv (Cornell University)|2026. 01. 07.

Image Enhancement Techniques인용 수 0

한 줄 요약

EDIBNet은 엣지 디바이스에서 깊이 정보를 활용한 디블러링을 가능하게 하는 깊이 가이드 어댑터를 갖춘 간결한 웨이브릿 도메인 인코더-디코더를 도입하여, 두 자릿수 규모의 FLOPs, 런타임, 메모리 감소와 함께 경쟁적인 품질을 달성합니다.

ABSTRACT

Image deblurring is a challenging problem in imaging due to its highly ill-posed nature. Deep learning models have shown great success in tackling this problem but the quest for the best image quality has brought their computational complexity up, making them impractical on anything but powerful servers. Meanwhile, recent works have shown that mobile Lidars can provide complementary information in the form of depth maps that enhance deblurring quality. In this paper, we introduce a novel low-complexity neural network for depth-guided image deblurring. We show that the use of the wavelet transform to separate structural details and reduce spatial redundancy as well as efficient feature conditioning on the depth information are essential ingredients in developing a low-complexity model. Experimental results show competitive image quality against recent state-of-the-art models while reducing complexity by up to two orders of magnitude.

연구 동기 및 목표

• 모바일 LiDAR 깊이 맵으로 깊이 가이던스를 적용한 엣지 친화적 이미지 디블러링을 촉진한다.
• 웨이브렛 도메인에서 동작하는 저복잡도 인코더-디코더 아키텍처를 개발한다.
• 경량 어댑터를 통해 깊이 정보를 융합하여 구조-의식을 갖춘 복원을 개선한다.
• 경쟁력 있는 이미지 품질을 유지하면서 FLOPs, 런타임 및 메모리의 실질적 감소를 입증한다.

제안 방법

• 2-level Haar DWT를 사용하여 이미지를 서브 대역으로 분해하고 계산을 줄이기 위해 저주파 LL(2) 및 관련 서브밴드만 처리한다.
• 잔향 블록과 스킵 연결을 갖춘 경량 인코더-디코더 백본에서 LL(2), LH(2), HL(2), HH(2)를 처리한다.
• 가이드 필터 통계의 두 가지 가지(branch) 근사치를 사용하는 깊이 어댑터를 통해 디코더 특징을 조절하여 깊이 정보를 주입한다.
• 연결(concatenation), 경량 컨볼루션, 채널 어텐션을 통해 깊이 특징을 이미지 특징과 융합하고, 깊이 특징이 후속 단계로 전파된다.
• 품질을 유지하면서 계산을 절감하기 위해 고주파 서브밴드를 역변환으로 건너뛴다.

Figure 1 : Proposed EDIBNet architecture. An efficient encoder-decoder neural network operates in the low-frequency wavelet sub-bands. Efficient adapters are added on each level of the decoder part to modulate image features with depth features.

실험 결과

연구 질문

• RQ1 모바일 LiDAR를 통한 깊이 가이던스를 사용하여 웨이브렛 도메인의 저복잡도 네트워크가 경쟁력 있는 디블러링 품질을 달성할 수 있는가?
• RQ2 웨이브렛 레벨, 웨이브렛 기저 및 깊이 어댑터가 성능과 효율성에 미치는 영향은 무엇인가?
• RQ3 EDIBNet가 엣지 디바이스에서 FLOPs, 런타임, 메모리를 최소화하면서 PSNR/SSIM에서 최첨단 모델과 어떻게 비교되는가?

주요 결과

모델	PSNR (dB) ↑	SSIM ↑	LPIPS ↓	파라미터 수 (M)	FLOPs (G)	런타임 (s)	메모리 (MB)
Restormer	34.52	0.9318	0.2596	26.1	4083	46.56	32456
Depth-Restormer	36.62	0.9446	0.2223	30.0	8786	55.84	41304
NAFNet	37.24	0.9430	0.2474	17.1	673	4.54	4216
Depth-NAFNet	37.28	0.9434	0.2433	23.7	1388	7.28	11260
EDIBNet (w/o depth & adapter)	34.59	0.9667	0.3093	1.45	15	0.12	280
EDIBNet (channel=16)	34.73	0.9673	0.3117	2.84	44	0.20	358
EDIBNet (channel=32)	35.10	0.9681	0.2971	11.3	178	0.40	816

• 제안된 EDIBNet은 최첨단 모델 대비 FLOPs, 런타임 및 메모리에서 한 차례 규모의 감소를 가지며 경쟁력 있는 PSNR/SSIM을 달성한다.
• 경량 어댑터를 통한 실제 깊이 정보의 도입은 약 0.14 dB의 PSNR 향상을 가져오며 런타임 증가는 미미하다.
• 2-level 웨이브렛 분해가 1-level 및 3-level 구성 중에서 최상의 정확도-효율성 균형을 제공한다.
• Haar 웨이브렛은 rbio1.1 및 bior1.1 기저와 비슷한 성능을 보이며 Haar가 구현하기 가장 쉽다.
• 여기에 설계된 깊이 어댑터는 매개변수와 FLOPs를 줄이면서 경쟁 어댑터 대비 SSIM을 향상시킨다.

Figure 2 : Architecture of the proposed efficient Adapter. The module takes as input both image features and depth features. Each input is first normalized and passed through lightweight bias adjustment layers. The features are then concatenated and processed through a chunking and spatial condition