[논문 리뷰] Rethinking Coarse-to-Fine Approach in Single Image Deblurring

Sung‐Jin Cho, Seo-Won Ji외 3명|arXiv (Cornell University)|2021. 08. 11.

Advanced Image Processing Techniques참고 문헌 37인용 수 34

한 줄 요약

다중 입력-단일 인코더, 다중 출력-단일 디코더, 비대칭 피처 퓨전을 갖춘 단일 인코더-디코더 U-Net으로 다중 스케일 블러를 처리하여 빠르고 정확한 디블러링을 달성하는 MIMO-UNet를 도입한다.

ABSTRACT

Coarse-to-fine strategies have been extensively used for the architecture design of single image deblurring networks. Conventional methods typically stack sub-networks with multi-scale input images and gradually improve sharpness of images from the bottom sub-network to the top sub-network, yielding inevitably high computational costs. Toward a fast and accurate deblurring network design, we revisit the coarse-to-fine strategy and present a multi-input multi-output U-net (MIMO-UNet). The MIMO-UNet has three distinct features. First, the single encoder of the MIMO-UNet takes multi-scale input images to ease the difficulty of training. Second, the single decoder of the MIMO-UNet outputs multiple deblurred images with different scales to mimic multi-cascaded U-nets using a single U-shaped network. Last, asymmetric feature fusion is introduced to merge multi-scale features in an efficient manner. Extensive experiments on the GoPro and RealBlur datasets demonstrate that the proposed network outperforms the state-of-the-art methods in terms of both accuracy and computational complexity. Source code is available for research purposes at https://github.com/chosj95/MIMO-UNet.

연구 동기 및 목표

• 정확도를 희생하지 않으면서 코스-투-파인(coarse-to-fine) 디블러링 아키텍처의 계산 비용을 줄이는 것을 동기로 삼는다.
• 다중 스케일 출력이 가능한 공유 인코더/디코더를 통해 다중 스케일 블러를 처리할 수 있는 단일 U-Net을 개발한다.
• 견고한 디블러링을 위한 다중 스케일 특징의 효율적 융합 메커니즘을 설계한다.
• 표준 벤치마크에서 최신 멀티-네트워크 접근법에 비해 우수한 PSNR/SSIM과 더 빠른 런타임을 입증한다.

제안 방법

• 세 개의 인코더 블록과 세 개의 디코더 블록을 갖춘 단일 U-Net인 MIMO-UNet를 제안한다.
• 다중 입력 단일 인코더(MISE)로 각 인코더 블록이 블러링된 입력의 다운스케일 버전을 받아 학습된 특징과 얕은 합성곱 모듈(SCM)을 사용해 융합한다.
• 다중 출력 단일 디코더(MOSD)로 각 디코더 레벨이 중간 디블러링 이미지를 생성하여 하나의 네트워크 내에서 거칠기-에서 세밀함의 동작을 가능하게 한다.
• 계층 간 다중 스케일 인코더 특징을 주의-like 모듈링과 교차 스케일 융합을 이용해 병합하는 비대칭 피처 퓨전(AFF)을 구현한다.
• 다중 스케일 콘텐츠 손실(Lcont)과 다중 스케일 주파수 재구성 손실(LMSFR)을 사용해 다양한 스케일의 출력들을 감독한다.
• GoPro 및 RealBlur 데이터셋으로 학습하여 누적된 서브 네트워크 기준선 대비 향상된 정확도(PSNR/SSIM)와 더 빠른 런타임을 보인다.

Figure 1: Comparison between the proposed and conventional methods in terms of the PSNR and runtime. The runtime of the methods is reported as the runtime measured using the released test code of each method on our environment (filled) and the runtime provided in each paper (blank).

실험 결과

연구 질문

• RQ1 다중 스케일 입력과 출력을 갖춘 단일 U-Net 아키텍처가 스택된 서브네트워크를 가진 전통적인 거칠기에서 세밀함으로의 네트워크를 단일 이미지 디블러링에서 능가할 수 있는가?
• RQ2 다중 스케일 피처 퓨전 전략(AFF)과 교차 스케일 입력/출력이 다양한 블러 조건에서 디블러링 성능을 향상시키는가?
• RQ3 GoPro 및 RealBlur 데이터셋에서 PSNR/SSIM 및 계산 효율성 측면에서 MIMO-UNet이 최신 방법들과 어떻게 비교되는가?

주요 결과

• MIMO-UNet은 GoPro에서 스택된 서브네트워크 방법들보다 훨씬 낮은 런타임을 제공하면서도 경쟁력 있는 PSNR/SSIM를 달성한다.
• GoPro에서 평가된 모델들 중 MIMO-UNET++가 32.68 dB로 최상의 PSNR를 달성하며 RealBlur에서도 강력한 성능(보고된 비교에서 최상위 PSNR/SSIM)을 보여준다.
• AFF는 단순한 퓨전 전략에 비해 측정 가능한 이점을 제공하며 MISE, MOSD, AFF를 결합하면 애블레이ション에서 가장 큰 PSNR 향상을 얻는다.
• MSFR 보조 손실은 베이스라인 대비 PSNR을 최대 약 0.57 dB까지 추가로 개선하여 주파수 도메인 감독의 이점을 강조한다.
• 벤치마크 전반에 걸쳐 MIMO-UNet 변종은 우수한 속도-정밀도 트레이드오프를 보여주며, MIMO-UNet++는 여러 기존 방법들보다 더 높은 PSNR을 전달하면서도 더 빠른 런타임을 유지한다.

Figure 2: Comparison of coarse-to-fine image deblurring network architectures: (a) DeepDeblur, (b) PSS-NSC, (c) MT-RNN, and (d) proposed MIMO-UNet.