[논문 리뷰] Down-Scaling with Learned Kernels in Multi-Scale Deep Neural Networks for Non-Uniform Single Image Deblurring

Dongwon Park, Jisoo Kim외 1명|arXiv (Cornell University)|2019. 03. 25.

Advanced Image Processing Techniques참고 문헌 41인용 수 8

한 줄 요약

이 논문은 비균일 단일 이미지 디블러닝을 위한 다중 척도 딥 네트워크에서 학습 가능한 커널을 갖춘 CNN 기반의 다운스케일링 방법을 제안한다. 기존의 이방성 보간(예: bicubic) 다운샘플링을 학습 가능한 다중 채널 컨볼루션 커널로 대체함으로써, 가장자리와 같은 중요한 고주파 성분을 더 잘 유지할 수 있으며, 최신 기술 수준의 성능을 달성한다. GoPro 데이터셋에서 Tao 등과 비교해 PSNR가 2.59dB 높고, Su 데이터셋에서는 1.15dB 높다.

ABSTRACT

Multi-scale approach has been used for blind image / video deblurring problems to yield excellent performance for both conventional and recent deep-learning-based state-of-the-art methods. Bicubic down-sampling is a typical choice for multi-scale approach to reduce spatial dimension after filtering with a fixed kernel. However, this fixed kernel may be sub-optimal since it may destroy important information for reliable deblurring such as strong edges. We propose convolutional neural network (CNN)-based down-scale methods for multi-scale deep-learning-based non-uniform single image deblurring. We argue that our CNN-based down-scaling effectively reduces the spatial dimension of the original image, while learned kernels with multiple channels may well-preserve necessary details for deblurring tasks. For each scale, we adopt to use RCAN (Residual Channel Attention Networks) as a backbone network to further improve performance. Our proposed method yielded state-of-the-art performance on GoPro dataset by large margin. Our proposed method was able to achieve 2.59dB higher PSNR than the current state-of-the-art method by Tao. Our proposed CNN-based down-scaling was the key factor for this excellent performance since the performance of our network without it was decreased by 1.98dB. The same networks trained with GoPro set were also evaluated on large-scale Su dataset and our proposed method yielded 1.15dB better PSNR than the Tao's method. Qualitative comparisons on Lai dataset also confirmed the superior performance of our proposed method over other state-of-the-art methods.

연구 동기 및 목표

• 고정 커널 다운샘플링(예: bicubic)이 다중 척도 디블러닝에서 강한 가장자리와 같은 핵심 세부 정보를 손상시킬 수 있는 부적절한 성능을 보이는 문제를 해결한다.
• 해상도 감소 과정에서 국소 이미지 구조를 유지할 수 있도록 공간적으로 적응적인 다운샘플링 커널을 학습함으로써 디블러닝 성능을 향상시킨다.
• 원본 해상도 입력에 대한 별도의 디블러잉 네트워크가 필요 없게 함으로써 효율적인 추론을 가능하게 하여 계산 오버헤드를 감소시킨다.
• 대규모 벤치마크(GoPro, Su)에서 최신 기술 수준의 결과를 달성하면서도, Lai와 같은 다양한 데이터셋에서 뛰어난 시각적 품질을 유지를 한다.
• 학습 데이터 분포가 일반화에 미치는 영향을 조사하며, 특히 GoPro와 Köhler와 같은 데이터셋 간 성능의 일관성 부족 문제를 다룬다.

제안 방법

• 고정 커널 다운샘플링(예: bicubic)을 대체하기 위해 학습 가능한 다중 채널 컨볼루션 커널을 갖춘 새로운 CNN 기반 다운스케일링 모듈을 제안한다.
• 각 척도에서 특징 맵을 다운샘플링한 후 잔차 연결 네트워크로 처리하는 다중 척도 아키텍처에 학습 가능한 다운스케일링 모듈을 통합한다.
• 각 척도의 백본 네트워크로 RCAN(Residual Channel Attention Networks)을 채택하여 특징 표현력을 향상시키고 채널별 주의 메커니즘을 활용한다.
• 제한된 하드웨어 자원에서 계산 요구량을 관리하기 위해 엔드 투 엔드 학습 대신 부분 최적의 모듈러 학습 전략을 채택한다.
• 원본 해상도 입력에 전용 네트워크를 두지 않고 각 척도에서 다운스케일된 특징만 처리하도록 네트워크를 설계하여 복잡성을 감소시킨다.
• 잔차 블록 간 특징 무결성을 유지하고 기울기 흐름을 향상시키기 위해 스킵 연결(RIR 스킵 연결)을 활용한다.

실험 결과

연구 질문

• RQ1 학습 가능한 다운스케일링 커널이 비균일 디블러닝에 핵심적인 고주파 성분을 보존하는 데 고정 커널 방법(예: bicubic)보다 뛰어난가?
• RQ2 bicubic 다운샘플링을 CNN 기반의 학습 가능한 다운스케일링 모듈로 대체했을 때, 표준 벤치마크에서 PSNR 및 SSIM에 측정 가능한 향상이 발생하는가?
• RQ3 원본 해상도 전용 네트워크가 없는 것이 성능에 미치는 영향은 어느 정도이며, 개선된 다운스케일링 및 백본 설계로 이를 상쇄할 수 있는가?
• RQ4 다양한 데이터셋 간 블러 특성과 이미지 통계의 차이가 있는 환경에서 제안된 방법의 일반화 성능는 어떠한가?
• RQ5 아블레이션 스터디를 통해 각 구성 요소(예: 백본, 스킵 연결, 학습 가능한 다운스케일링)가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 방법은 GoPro 데이터셋에서 Tao 등이 제시한 최신 기술 수준의 방법보다 PSNR가 2.59dB 높게 달성하여 뚜렷한 성능 향상을 입증했다.
• Su 데이터셋에서는 Tao의 방법보다 PSNR가 1.15dB 높게 달성되어 GoPro 분포 외부에서도 강력한 일반화 성능을 입증했다.
• 아블레이션 스터디 결과, 학습 가능한 다운스케일링 모듈을 제거할 경우 PSNR가 1.98dB 감소하여 그 핵심적인 역할을 입증했다.
• Lai 데이터셋에서의 정성적 결과는 기존 방법 대비 번호판, 텍스트, 움직이는 물체 등의 미세한 세부 사항을 뛰어나게 복원하는 것으로 나타났다.
• 분해 분석 결과 RCAN 백본과 RIR 스킵 연결 모두 성능 향상에 기여하며, 이들의 제거는 결과를 떨어뜨리는 것으로 확인되었다.
• GoPro에서 학습한 모델을 Su 데이터셋에 맞춰 미세조정한 결과, Köhler 데이터셋에서 성능이 27.26dB로 향상되어 학습 데이터의 일치성이 중요함을 시사했다.