[논문 리뷰] Scale-recurrent Network for Deep Image Deblurring

Xin Tao, Hongyun Gao외 4명|arXiv (Cornell University)|2018. 02. 06.

Advanced Image Processing Techniques참고 문헌 32인용 수 20

한 줄 요약

이 논문은 다중 해상도 특징 간 가중치 공유를 통해 파rameter 수를 감소시키고 학습 안정성을 향상시키기 위해 스케일-반복 네트워크(SRN-DeblurNet)를 제안한다. 코arse-to-fine 복구 파이프라인에서 다중 해상도 특징 간 가중치를 공유하는 스케일-반복 구조와 인코더-디코더 ResBlock 설계를 조합함으로써, GOPRO 데이터셋에서 30.10 PSNR와 1.6초의 추론 시간을 기록하며 기존의 학습 기반 방법들보다 품질과 효율성 측면에서 모두 최고 성능을 달성한다.

ABSTRACT

In single image deblurring, the "coarse-to-fine" scheme, i.e. gradually restoring the sharp image on different resolutions in a pyramid, is very successful in both traditional optimization-based methods and recent neural-network-based approaches. In this paper, we investigate this strategy and propose a Scale-recurrent Network (SRN-DeblurNet) for this deblurring task. Compared with the many recent learning-based approaches in [25], it has a simpler network structure, a smaller number of parameters and is easier to train. We evaluate our method on large-scale deblurring datasets with complex motion. Results show that our method can produce better quality results than state-of-the-arts, both quantitatively and qualitatively.

연구 동기 및 목표

• 기존의 다중 해상도 컨볼루션 신경망이 이미지 복원에 있어 높은 파라미터 수와 학습 불안정성 등의 한계를 해결하기 위해.
• 스케일 간 가중치 공유를 통해 학습 효율성 향상과 모델 일반화 능력 향상을 위해.
• 복잡한 운동 블러 복원을 위한 특징 학습과 수신 영역을 향상시키는 더 효과적인 아키텍처 개발을 위해.
• 실제 세계 및 합성 블러 이미지에 대해 정량적 지표와 시각적 품질 측면에서 최고 성능을 달성하기 위해.

제안 방법

• 코arse-to-fine 복구 파이프라인에서 모든 스케일 수준 간 동일한 가중치 집합을 공유하는 스케일-반복 네트워크(SRN)를 제안한다.
• 각 스케일 내에서 특징 표현력과 수신 영역을 향상시키기 위해 인코더-디코더 ResBlock 구조를 도입한다.
• 은닉 상태를 갖는 반복 모듈을 사용하여 스케일 간 상호의존성을 암묵적으로 포착하고 특징 정제를 향상시킨다.
• 공유 가중치를 사용한 엔드 투 엔드 학습을 통해 파라미터 수를 감소시키고 스케일 간 데이터 증강 효과를 시뮬레이션한다.
• 학습 안정성 향상과 기울기 흐름 개선을 위해 각 스케일에 잔차 블록(ResBlocks)을 적용한다.
• 동일한 네트워크를 점진적으로 더 세밀한 해상도에서 반복적으로 적용하는 다중 해상도 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 어떻게 더 파라미터 효율적이고 안정적인 다중 해상도 CNN을 이미지 복원에 설계할 수 있는가?
• RQ2 스케일 간 가중치 공유가 깊은 복원 네트워크에서 학습 안정성과 일반화 능력을 향상시킬 수 있는가?
• RQ3 스케일 간 반복 모듈을 통합하면 특징 정제와 복원 품질이 향상되는가?
• RQ4 간단하고 경량화된 아키텍처가 복잡한 다중 브랜치 네트워크보다 이미지 복원에서 더 우수한 성능을 낼 수 있는가?

주요 결과

• 제안된 SRN-DeblurNet은 GOPRO 테스트 세트에서 30.10 PSNR와 0.9323 SSIM을 기록하여 이전의 SOTA 방법(Nah et al., 29.08 PSNR)을 상당한 격차로 앞서간다.
• Köhler 데이터셋에서는 26.80 PSNR와 0.8375 MSSIM을 기록하여 Nah et al.(26.48 PSNR)와 Sun et al.(25.22 PSNR)를 모두 앞서나간다.
• Nah et al. 대비 학습 시간을 약 4배 감소시키고 추론 시간을 45% 이상 단축시키며, 파라미터 수는 3분의 1 미만으로 사용한다.
• 시각적 결과에서는 극단적인 운동 블러 상황에서도 이전 방법이 실패하는 경우에도 더 선명한 윤곽선과 명확한 세부 정보를 보이며, 잡음 요소가 적다.
• 실제 블러 이미지에 대해 잘 일반화되어 있으며, 미세조정 없이도 고품질 결과를 생성한다.
• 추론 실험 결과 스케일-반복 구조와 인코더-디코더 ResBlocks가 성능 향상에 핵심적임을 확인하였으며, 각 스케일에 3개의 ResBlocks가 최적임을 규명하였다.