[논문 리뷰] Deep Stacked Hierarchical Multi-patch Network for Image Deblurring

Hongguang Zhang, Yuchao Dai외 2명|arXiv (Cornell University)|2019. 04. 06.

Advanced Image Processing Techniques참고 문헌 29인용 수 41

한 줄 요약

이 논문은 비겹치는(non-overlapping) 패치 계층 구조를 이용해 비균질 모션 블러를 제거하는 Deep Multi-Patch Hierarchical Network(DMPHN)을 소개하며, 720p 실시간 디블러링 및 GoPro에서 PSNR/SSIM 최상위 성능 달성. 또한 성능을 더 끌어올리기 위한 Stack-DMPHN, Stack-VMPHN과 같은 스택형 변형을 제안한다.

ABSTRACT

Despite deep end-to-end learning methods have shown their superiority in removing non-uniform motion blur, there still exist major challenges with the current multi-scale and scale-recurrent models: 1) Deconvolution/upsampling operations in the coarse-to-fine scheme result in expensive runtime; 2) Simply increasing the model depth with finer-scale levels cannot improve the quality of deblurring. To tackle the above problems, we present a deep hierarchical multi-patch network inspired by Spatial Pyramid Matching to deal with blurry images via a fine-to-coarse hierarchical representation. To deal with the performance saturation w.r.t. depth, we propose a stacked version of our multi-patch model. Our proposed basic multi-patch model achieves the state-of-the-art performance on the GoPro dataset while enjoying a 40x faster runtime compared to current multi-scale methods. With 30ms to process an image at 1280x720 resolution, it is the first real-time deep motion deblurring model for 720p images at 30fps. For stacked networks, significant improvements (over 1.2dB) are achieved on the GoPro dataset by increasing the network depth. Moreover, by varying the depth of the stacked model, one can adapt the performance and runtime of the same network for different application scenarios.

연구 동기 및 목표

• 비효율적이고 확장 가능한 디블링으로 비균질 모션 블러를 다루려는 동기 부여.
• 공간 피라미드 매칭을 모티프로 한 다중-패치 CNN을 제안하여 세밀한 처리에서 거친 처리로의 계층적 접근을 구현.
• 깊이(깊이)로 인한 성능 포화 현상을 극복하기 위해 스택형 다중 패치 네트워크를 도입한다.

제안 방법

• 비중첩 패치를 처리하는 인코더-디코더 계층을 가진 계층적 다중 패치 네트워크(DMPHN) 도입.
• 가장 세밀한 레벨에서 시작하여 잔차 유사 연결을 통해 점진적으로 더 거친 레벨에 기여하는 방식으로 잔차를 전달.
• 스킵/재귀 링크 없이 작은 필터를 이용한 빠른 추론을 가능하게 하는 SPM(Spatial Pyramid Matching) 유사 패치 집계 전략 사용.
• 최종 출력 레벨(레벨 1)에서만 적용되는 엔드투엔드 손실로 학습하여 잔차 중심 학습을 촉진.
• 성능 향상을 위해 DMPHN 유닛의 스택핑(Stack-DMPHN 및 Stack-VMPHN)을 탐색하되 실행 시간의 폭발적 증가를 피함.

실험 결과

연구 질문

• RQ1 정밀-거친 계층적 다중 패치 아키텍처가 다중 스케일 또는 스케일 재귀 방식보다 비균질 모션 블러 제거를 더 효율적으로 개선할 수 있는가?
• RQ2 DMPHN 유닛의 스택형 배치가 실행 시간 가능성을 유지하면서 유의미한 성능 향상을 가져오는가?
• RQ3 계층 간 가중치 공유가 성능 및 모델 크기에 미치는 영향은 무엇인가?

주요 결과

• DMPHN은 GoPro 데이터셋에서 최상위 PSNR/SSIM을 달성하며, (1-2-4-8) 구성이 최상의 결과를 제공한다.
• DMPHN은 720p 이미지에서 실시간으로 작동하며(이미지당 약 30 ms, 1280x720 기준).
• 스택형 변형(Stack-DMPHN 및 Stack-VMPHN)은 GoPro에서 기본 DMPHN 대비 1 dB 이상의 PSNR 향상을 제공한다.
• Stack(4)-DMPHN 및 Stack(2)-VMPHN은 결과를 추가로 향상시키고, Stack 변형은 일부 베이스라인 대비 빠르면서도 성능이 우수하다.
• 모델은 경량화되어 있으며(예: DMPHN 인코더/디코더 약 3.6 MB) 레벨 간의 무거운 업샘플링/디컨볼루션을 피한다.
• 가중치 공유는 파라미터를 줄이지만 PSNR/SSIM에서 약간의 트레이드오프를 유발한다.