[논문 리뷰] End-to-End Image Super-Resolution via Deep and Shallow Convolutional Networks

Yifan Wang, Lijun Wang외 2명|arXiv (Cornell University)|2016. 07. 26.

Advanced Image Processing Techniques참고 문헌 27인용 수 52

한 줄 요약

이 논문은 단일 이미지 초해상도 분석을 위한 엔드 투 엔드 딥 컨volution 네트워크를 제안하며, 특징 추출, 잠재 특징 공간 내 해상도 상향 조정, 다중 척도 재구성 과정을 동시에 학습한다. 특징 공간에서 이중선형 보간 대신 학습 가능한 디컨볼루션을 도입하고, 다중 척도 컨볼루션을 통해 단기 및 장기적 맥락을 통합함으로써, 기존 단일 척도 기반 방법 대비 최대 0.20 dB 향상된 SOTA(최고 성능) PSNR 성능을 달성한다.

ABSTRACT

One impressive advantage of convolutional neural networks (CNNs) is their ability to automatically learn feature representation from raw pixels, eliminating the need for hand-designed procedures. However, recent methods for single image super-resolution (SR) fail to maintain this advantage. They utilize CNNs in two decoupled steps, i.e., first upsampling the low resolution (LR) image to the high resolution (HR) size with hand-designed techniques (e.g., bicubic interpolation), and then applying CNNs on the upsampled LR image to reconstruct HR results. In this paper, we seek an alternative and propose a new image SR method, which jointly learns the feature extraction, upsampling and HR reconstruction modules, yielding a completely end-to-end trainable deep CNN. As opposed to existing approaches, the proposed method conducts upsampling in the latent feature space with filters that are optimized for the task of image SR. In addition, the HR reconstruction is performed in a multi-scale manner to simultaneously incorporate both short- and long-range contextual information, ensuring more accurate restoration of HR images. To facilitate network training, a new training approach is designed, which jointly trains the proposed deep network with a relatively shallow network, leading to faster convergence and more superior performance. The proposed method is extensively evaluated on widely adopted data sets and improves the performance of state-of-the-art methods with a considerable margin. Moreover, in-depth ablation studies are conducted to verify the contribution of different network designs to image SR, providing additional insights for future research.

연구 동기 및 목표

• 기존 딥 러닝 기반 초해상도 방법의 한계를 해결하기 위해, 이중선형 보간과 같은 수작업으로 설계된 기법을 사용해 업샘플링과 특징 학습을 분리하는 방식을 개선하고자 한다.
• 단일 엔드 투 엔드 학습 가능한 네트워크 내에서 특징 추출, 해상도 상향 조정, 고해상도 재구성 과정을 공동 최적화할 수 있도록 하기 위해 개선하고자 한다.
• 다중 척도 컨볼루션 재구성 모듈을 통해 단기 및 장기적 맥락 정보를 명시적으로 모델링함으로써 성능 향상을 도모하고자 한다.
• 깊이 있는 네트워크와 얕은 보조 네트워크를 함께 훈련시켜 훈련 속도를 가속화하고 수렴 성능을 향상시키고자 한다.
• 포괄적인 아블레이션 스터디를 통해 다양한 아키텍처 구성 요소의 기여도에 대한 경험적 통찰을 제공하고자 한다.

제안 방법

• 이 방법은 사전 업샘플링 없이 직접 저해상도(LR) 이미지를 처리하는 딥 컨볼루션 네트워크를 사용하며, 엔드 투 엔드 방식으로 특징 표현을 학습한다.
• 잠재 공간 내에서 깊은 특징을 업샘플링하기 위해 학습 가능한 디컨볼루션 레이어를 사용하며, 기존의 이중선형 보간을 대체하여 업샘플링 과정을 작업에 맞게 최적화할 수 있도록 한다.
• 재구성 모듈은 1×1, 3×3, 5×5, 7×7의 커널 크기를 가진 다중 척도 컨볼루션 레이어를 사용하여 국소적 세부 사항과 전반적인 맥락을 동시에 캡처한다.
• 공동 훈련 전략을 도입하여 얕은 네트워크가 주요 이미지 구조를 학습하고, 깊은 네트워크는 잔여 세부 정보에 집중함으로써 수렴 속도와 성능을 향상시킨다.
• 고해상도 출력의 재구성 오차를 최소화하는 복합 손실 함수를 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시킨다.
• 아키텍처는 완전히 미분 가능하며, 이전 방법의 순차적 최적화 방식을 피하기 위해 단일 최적화 프로세스 내에서 훈련 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 잠재 특징 공간 내에서 수작업으로 설계된 이중선형 보간 대신 학습 가능한 업샘플링을 적용할 경우 초해상도 성능 향상이 이루어지는가?
• RQ2 다중 척도 컨볼루션을 통해 단기 및 장기적 맥락 정보를 통합할 경우 초해상도에서의 세부 사항 복구 성능 향상이 이루어지는가?
• RQ3 깊은 네트워크와 얕은 네트워크를 함께 훈련시키는 것이 깊은 네트워크를 별도로 훈련시키는 것보다 수렴 속도를 가속화하고 성능을 향상시키는가?
• RQ4 디컨볼루션 레이어의 커널 크기가 업샘플링 및 재구성 품질에 어떤 영향을 미치는가?
• RQ5 각 아키텍처 구성 요소(예: 다중 척도, 엔드 투 엔드 학습, 공동 훈련)가 최종 성능에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• 제안된 EEDS 방법은 업샘플링 인자 3일 때 Set5에서 PSNR 33.47 dB를 기록하여, 다음으로 우수한 방법(EEDS-ND)보다 0.25 dB 높은 성능을 달성한다.
• 다중 척도 재구성 모듈은 최고의 단일 척도 변형(EEDS-SS7) 대비 PSNR를 0.20 dB 향상시켜 단기 및 장기 맥락을 조합하는 것이 유의미한 이점을 제공함을 확인한다.
• 디컨볼루션 커널 크기를 7에서 25로 증가시키면 PSNR가 약간 향상되며, 성능와 계산 비용 간의 트레이드오���으로 15가 최적의 선택으로 판단된다.
• 얕은 네트워크와 함께 공동 훈련하면 깊은 네트워크를 독립적으로 훈련시키는 것보다 수렴 속도가 빠르고 성능이 뛰어나다.
• 아블레이션 스터디 결과, 이중선형 보간을 통한 사전 업샘플링보다 특징 공간 내 학습 가능한 업샘플링이 훨씬 효과적임을 확인하였으며, EEDS와 EEDS-ND 간의 뚜렷한 성능 격차가 이를 뒷받침한다.
• 모든 벤치마크 데이터셋(Set5, Set14, BSD100)에서 최고 성능을 기록하여 기존 접근 방식보다 일관되게 뛰어난 우수성을 입증한다.