[논문 리뷰] Image Super-Resolution Using Deep Convolutional Networks

Chao Dong, Chen Change Loy외 2명|arXiv (Cornell University)|2014. 12. 31.

Advanced Image Processing Techniques참고 문헌 42인용 수 141

한 줄 요약

이 논문은 저해상도 이미지에서 고해상도 이미지로의 직접적인 매핑을 학습함으로써 단일 이미지 초해상도 복원을 위한 경량 딥 컨volution 신경망인 SRCNN을 제안한다. 희박 코딩 기반 초해상도 복원을 딥 컨volution 신경망으로 재구성함으로써, 이전 방법들보다 품질과 속도 면에서 모두 뛰어난 최신 기술 성능을 달성하며, 특히 RGB 채널에서 훈련된 경우 두드러진 성능 향상을 보인다.

ABSTRACT

We propose a deep learning method for single image super-resolution (SR). Our method directly learns an end-to-end mapping between the low/high-resolution images. The mapping is represented as a deep convolutional neural network (CNN) that takes the low-resolution image as the input and outputs the high-resolution one. We further show that traditional sparse-coding-based SR methods can also be viewed as a deep convolutional network. But unlike traditional methods that handle each component separately, our method jointly optimizes all layers. Our deep CNN has a lightweight structure, yet demonstrates state-of-the-art restoration quality, and achieves fast speed for practical on-line usage. We explore different network structures and parameter settings to achieve trade-offs between performance and speed. Moreover, we extend our network to cope with three color channels simultaneously, and show better overall reconstruction quality.

연구 동기 및 목표

• 저해상도 이미지에서 고해상도 이미지로의 직접적인 매핑을 학습하여 단일 이미지 초해상도 복원 문제의 불안정성 문제를 해결한다.
• 기존의 예제 기반 방법들이 딕셔너리, 패치 집합 등 각 구성 요소를 별도로 최적화하는 데서 비롯되는 한계를 극복한다.
• 반복 최적화 없이도 실시간 추론이 가능한 빠른 경량 전연결 컨volution 신경망을 설계한다.
• 백프로파게이션을 통한 모든 네트워크 구성 요소의 동시 최적화가 단계별 파이프라인 방법보다 재구성 품질을 향상시킨다는 것을 입증한다.
• RGB 또는 YCbCr 색공간에서 훈련하여 색채 재구성 성능을 향상시키는 방식으로 네트워크를 색상 이미지 처리에 효과적으로 확장한다.

제안 방법

• 입력층(필터 크기 9×9), 은닉층(필터 크기 1×1), 출력층(필터 크기 5×5)을 갖는 세 층의 완전 컨volution 신경망(SRCNN)을 제안한다.
• 비선형성을 도입하기 위해 은닉층에서 Rectified Linear Units(ReLU)를 활성화 함수로 사용한다.
• 예측된 고해상도 패치와 진짜 고해상도 패치 간의 평균 제곱오차(MSE) 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련한다.
• 패치 추출, 인코딩, 재구성, 집합 등의 전체 초해상도 파이프라인을 수동 최적화가 필요 없는 단일 딥 러닝 모델로 통합한다.
• RGB 또는 YCbCr 색공간에서 훈련하여 세 개의 색채 채널을 동시에 처리할 수 있도록 모델을 확장하고, 사전 훈련 전략에 대한 분석 연구를 실시한다.
• 일반화 성능 향상과 과적합 방지를 위해 무작위 컷팅 및 회전을 통한 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 희박 코딩 기반 방법에서의 사전 학습 없이도 딥 컨volution 신경망이 단일 이미지 초해상도 복원을 위한 엔드 투 엔드 매핑을 효과적으로 학습할 수 있는가?
• RQ2 각 구성 요소를 별도로 최적화하는 전통적인 희박 코딩 기반 초해상도 방법과 비교할 때, 동시 최적화된 딥 컨볼루션 신경망의 성능은 어떠한가?
• RQ3 네트워크 깊이, 필터 크기, 색공간(RGB 대 YCbCr)이 재구성 품질과 속도에 미치는 영향은 무엇인가?
• RQ4 명암 또는 색상 채널에서의 사전 훈련 전략이 통합 네트워크의 성능 향상에 기여하는가?
• RQ5 RGB 채널에서의 훈련이 별도의 채널 처리 방식보다 채널 간 상관관계를 활용하여 색채 재구성 품질을 향상시키는가?

주요 결과

• SRCNN은 업스케일링 인자 3일 때 Set5 데이터셋에서 PSNR 33.1 dB를 기록하며 최신 기술 성능을 달성했으며, 이는 이중선형 보간 기반 기준선과 희박 코딩 기반 방법을 모두 초월한다.
• RGB 채널에서의 훈련이 전체 성능에서 가장 우수한 성능을 보였으며, RGB 공간에서 33.1 dB의 PSNR를 기록했고, 단일 채널 Y 전용 훈련 및 YCbCr 훈련보다 우수하다.
• Y 채널에서의 사전 훈련 전략은 CbCr 채널에서의 사전 훈련 전략보다 더 나은 색상 재구성 성능을 보였으며, 더 많은 필터가 활성화되고 국소 최적값에 갇히는 것을 피할 수 있었다.
• RGB 채널에서 훈련된 모델는 단일 채널 Y 전용 네트워크와 유사한 Y 채널 성능(33.0 dB)을 기록했지만, 이중선형 보간 대비 Cb 및 Cr 채널의 품질을 크게 향상시켰다.
• 반복적인 예제 기반 방법보다 완전히 프리패스 아키텍처를 갖춘 덕분에 매우 빠른 속도를 기록하여 CPU에서 실시간 추론이 가능하다.
• 더 큰 다양성과 더 깊은 아키텍처를 갖춘 데이터셋에서의 성능 향상으로 인해 확장 가능성 잠재력이 있음을 시사한다.