[논문 리뷰] Single Image Super-Resolution Using Multi-Scale Convolutional Neural Network

Xiaoyi Jia, Xiangmin Xu외 2명|arXiv (Cornell University)|2017. 05. 15.

Advanced Image Processing Techniques참고 문헌 17인용 수 6

한 줄 요약

이 논문은 다양한 이미지 구조에서 개선된 세부 사항 재구성 능력을 위해 서로 다른 수용장역 크기를 가진 병렬 다중 척도 경로를 사용하는 다중 척도 초해상도(MSSR) 네트워크를 제안한다. 단일 트레이닝된 네트워크로 다중 업스케일링 인자에 대해 상태의 성능을 달성하며, PSNR 및 SSIM 측면에서 이전 방법을 능가하면서도 높은 추론 속도를 유지한다.

ABSTRACT

Methods based on convolutional neural network (CNN) have demonstrated tremendous improvements on single image super-resolution. However, the previous methods mainly restore images from one single area in the low resolution (LR) input, which limits the flexibility of models to infer various scales of details for high resolution (HR) output. Moreover, most of them train a specific model for each up-scale factor. In this paper, we propose a multi-scale super resolution (MSSR) network. Our network consists of multi-scale paths to make the HR inference, which can learn to synthesize features from different scales. This property helps reconstruct various kinds of regions in HR images. In addition, only one single model is needed for multiple up-scale factors, which is more efficient without loss of restoration quality. Experiments on four public datasets demonstrate that the proposed method achieved state-of-the-art performance with fast speed.

연구 동기 및 목표

• 기존의 CNN 기반 초해상도 방법에서 단일 척도 수용장역의 한계로 인해 다양한 이미지 세부 정보를 처리하는 능력이 제한됨을 해결하기 위해.
• 재학습 없이도 여러 업스케일링 인자(x2, x3, x4 등)를 효과적으로 처리할 수 있는 단일 모델을 가능하게 하여 효율성을 향상시키기 위해.
• 다양한 크기의 수용장역에서 유도된 다중 척도 맥락 정보를 통합함으로써 특징 표현 능력을 향상시키기 위해.
• 다중 경로 아키텍처와 잔차 학습, 다중 척도 트레이닝을 조합하여 재구성 품질과 속도를 향상시키기 위해.

제안 방법

• MSSR 네트워크는 깊이와 수용장역이 다른 두 개의 병렬 하위네트워크인 대규모 경로(Module-L)와 소규모 경로(Module-S)를 사용한다.
• 입력으로 제공된 이방형 업샘플링된 저해상도 이미지에서 다중 척도 특징을 캡처하기 위해 수용장역이 각각 13, 27, 41인 세 개의 병렬 스트림을 사용한다.
• 다중 척도 스트림에서 유도된 특징들은 잔차 학습을 통해 고해상도 출력을 정밀하게 보정하는 복구 모듈을 거쳐 통합된다.
• 다양한 업스케일링 인자에서 정확한 재구성을 유도하기 위해 다중 척도 손실 함수를 사용하여 네트워크를 종합적으로 트레이닝한다.
• 가중치 초기화는 He 등(2015)의 방법을 따르며, 학습 안정성을 확보하기 위해 학습률 감소와 배치 정규화를 적용한다.
• 디컨볼루션 레이어를 피하고 효율적인 컨볼루션 연산을 사용함으로써 추론 속도 향상을 위해 아키텍처를 최적화한다.

실험 결과

연구 질문

• RQ1 각각의 업스케일링 인자에 대해 별도의 학습 없이도 단일 딥러닝 모델이 여러 업스케일링 인자를 효과적으로 처리할 수 있는가?
• RQ2 다중 척도 수용장역을 통합함으로써 다양한 이미지 콘텐츠에서 초해상도 품질이 향상되는가?
• RQ3 단일 척도 모델 대비 다중 경로 CNN 아키텍처가 구조적 및 질감 세부 정보를 더 잘 캡처할 수 있는가?
• RQ4 제안된 MSSR 방법은 최신 초해상도 네트워크와 비교해 성능과 속도 면에서 어떻게 성과를 내는가?

주요 결과

• 제안된 MSSR 모델은 Set5, Set14, B100, Urban100의 네 개의 공개 데이터셋에서 x2, x3, x4 업스케일링 인자에 대해 최고 성능의 PSNR 및 SSIM 점수를 기록했다.
• Set5에서 MSSR은 x2일 때 37.62 dB, x3일 때 33.82 dB, x4일 때 31.42 dB의 PSNR를 기록했으며, VDSR 및 FSRCNN을 능가했다.
• Urban100에서 MSSR은 x2일 때 30.84 dB, x3일 때 27.20 dB, x4일 때 25.19 dB의 PSNR를 기록했으며, 복잡한 질감과 윤곽에서 뛰어난 성능을 보였다.
• 기존 방법 대비 훨씬 빠른 추론 속도를 확보했으며, VDSR 및 FSRCNN 대비 수십 배의 속도 향상을 기록했다.
• 시각적 결과에서는 특히 윤곽선과 미세 질감 영역인 고주파 영역에서 더 선명한 선과 더 명확한 텍스트를 생성함을 확인했다.
• 모델은 업스케일링 인자 간에 잘 일반화되며, 모든 스케일에 대해 단일 모델만으로도 충분하여 학습 및 메모리 오버헤드를 줄였다.