[논문 리뷰] A hybrid approach of interpolations and CNN to obtain super-resolution

Ram Krishna Pandey, A. G. Ramakrishnan|arXiv (Cornell University)|2018. 05. 23.

Advanced Image Processing Techniques참고 문헌 18인용 수 5

한 줄 요약

이 논문은 전통적인 보간 기법(이차보간, 선형보간, 최근접이웃)과 얕은 합성곱 신경망(CNN)을 조합하여 이미지 해상도를 향상시키는 경량 초해상도 방법을 제안한다. 보간된 특징의 비선형 융합을 학습하고 스킵 연결을 사용함으로써, 저비용 계산 부하로도 최신 기준 PSNR 성능을 달성하며, 4배 확대에 대해 다양한 데이터셋에서 잘 일반화된다.

ABSTRACT

We propose a novel architecture that learns an end-to-end mapping function to improve the spatial resolution of the input natural images. The model is unique in forming a nonlinear combination of three traditional interpolation techniques using the convolutional neural network. Another proposed architecture uses a skip connection with nearest neighbor interpolation, achieving almost similar results. The architectures have been carefully designed to ensure that the reconstructed images lie precisely in the manifold of high-resolution images, thereby preserving the high-frequency components with fine details. We have compared with the state of the art and recent deep learning based natural image super-resolution techniques and found that our methods are able to preserve the sharp details in the image, while also obtaining comparable or better PSNR than them. Since our methods use only traditional interpolations and a shallow CNN with less number of smaller filters, the computational cost is kept low. We have reported the results of two proposed architectures on five standard datasets, for an upscale factor of 2. Our methods generalize well in most cases, which is evident from the better results obtained with increasingly complex datasets. For 4-times upscaling, we have designed similar architectures for comparing with other methods.

연구 동기 및 목표

• 다양한 자연 이미지 데이터셋에 잘 일반화되는 계산 비용이 낮은 초해상도 방법을 개발한다.
• 딥러닝 기반 초해상도에 있어 전통적인 보간 기법(이차보간, 선형보간, 최근접이웃)을 입력 특징으로 사용하는 역할을 탐색한다.
• 얕은 CNN를 사용해 보간된 입력의 비선형 조합을 학습함으로써 이미지 복원 품질을 향상시킨다.
• 모델 복잡도를 줄이되, 더 깊은 최신 기준 모델의 성능을 유지하거나 초월한다.
• 최근접이웃 보간과 스킵 연결의 조합이 미세한 디테일과 고주파 성분을 얼마나 잘 유지하는지 조사한다.

제안 방법

• 모델은 저해상도 입력 이미지에 세 가지 전통적 보간 기법(이차보간, 선형보간, 최근접이웃)을 적용하여 형성된 하이브리드 입력 공간을 사용한다.
• 얕은 CNN은 세 가지 보간 특징 맵의 비선형 조합을 학습하여 고해상도 이미지를 재구성한다.
• 두 번째 아키텍처는 최근접이웃 보간 입력에서 최종 출력 레이어로의 스킵 연결을 통합하여 특징 보존을 향상시킨다.
• 재구성 오차를 최소화하는 손실 함수를 사용해 엔드 투 엔드로 네트워크를 훈련하며, 이차보간 사전처리가 필요하지 않다.
• 4배 확대를 위해, 특징을 점진적으로 확대하는 스택된 역합성곱 레이어를 사용한 유사한 아키텍처(I4C 및 I2CI2C)를 설계한다.
• 모델은 훈련 및 추론 중에 모든 세 가지 색상 채널을 동시에 처리하여 특징의 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 전통적 보간 기법과 얕은 CNN의 하이브리드 접근 방식이 낮은 계산 비용으로도 경쟁 가능한 초해상도 성능을 달성할 수 있는가?
• RQ2 다양한 보간 기법의 통합이 모델의 다양한 이미지 데이터셋에 대한 일반화 능력을 어떻게 향상시키는가?
• RQ3 딥러닝 기반 초해상도 프레임워크에서 최근접이웃 보간의 기여도는 무엇이며, 특히 문헌에서 자주 간과되는 이유는 무엇인가?
• RQ4 파rameter 수가 적은 경량 CNN이 더 깊고 복잡한 모델에 비해 PSNR 및 시각적 품질 측면에서 얼마나 뛰어난 성능을 낼 수 있는가?
• RQ5 최근접이웃 보간과 함께 스킵 연결을 사용할 경우, 고주파 디테일과 재구성 정확도 유지에 어떤 영향을 미치는가?

주요 결과

• 2배 확대에 대해 다섯 개의 표준 데이터셋에서 제안된 방법이 최신 기준 딥러닝 기반 초해상도 기법과 비교해 유사하거나 뛰어난 PSNR 성능을 달성한다.
• 데이터셋의 복잡도가 증가할수록 성능이 향상되며, 점점 더 복잡한 데이터셋에서도 잘 일반화된다.
• 4배 확대에 대해 I2CI2C 아키텍처는 수백만 개의 파라미터를 가진 깊은 모델인 SRGAN과 비슷한 시각적 품질을 제공하지만, 훨씬 단순한 아키텍처를 사용한다.
• 종종 딥러닝에서 간과되는 최근접이웃 보간은, 특히 스킵 연결 아키텍처에서 날카움과 미세한 디테일을 유지하는 데 핵심적인 역할을 한다.
• 정답 이미지가 직접 모델에 입력되더라도 높은 재구성 품질을 유지함으로써, 강건성과 정확한 다양체 정렬 능력을 보여준다.
• 대부분의 최신 SOTA 방법보다 훨씬 적은 파라미터와 낮은 계산 비용으로 높은 성능을 달성하여 실시간 응용에 적합하다.