[논문 리뷰] Accelerating the Super-Resolution Convolutional Neural Network

Chao Dong, Chen Change Loy외 1명|arXiv (Cornell University)|2016. 08. 01.

Advanced Image Processing Techniques참고 문헌 23인용 수 11

한 줄 요약

이 논문은 빠른 초해상도 합성곱 신경망(FSRCNN)을 제안한다. 이는 이질적인 구조를 띤 작고 효율적인 CNN 아키텍처로, 이중선형 보간 대신 학습 가능한 디컨볼루션을 사용하고, 특징 차원을 압축/확장하며, 더 깊은 스택을 형성한 작은 커널을 적용함으로써 이미지 초해상도를 가속화한다. 이 방법은 SRCNN-Ex 대비 40배 이상의 속도 향상을 달성하면서 복원 품질을 향상시키며, FSRCNN-s는 일반적인 CPU에서 실시간(24 fps 이상)으로 실행된다.

ABSTRACT

As a successful deep model applied in image super-resolution (SR), the Super-Resolution Convolutional Neural Network (SRCNN) has demonstrated superior performance to the previous hand-crafted models either in speed and restoration quality. However, the high computational cost still hinders it from practical usage that demands real-time performance (24 fps). In this paper, we aim at accelerating the current SRCNN, and propose a compact hourglass-shape CNN structure for faster and better SR. We re-design the SRCNN structure mainly in three aspects. First, we introduce a deconvolution layer at the end of the network, then the mapping is learned directly from the original low-resolution image (without interpolation) to the high-resolution one. Second, we reformulate the mapping layer by shrinking the input feature dimension before mapping and expanding back afterwards. Third, we adopt smaller filter sizes but more mapping layers. The proposed model achieves a speed up of more than 40 times with even superior restoration quality. Further, we present the parameter settings that can achieve real-time performance on a generic CPU while still maintaining good performance. A corresponding transfer strategy is also proposed for fast training and testing across different upscaling factors.

연구 동기 및 목표

• 실용적 응용에서 실시간 배포가 제한되는 SRCNN의 높은 계산 비용을 해결하기 위해.
• 기존 학습 기반 초해상도 방법에서 이중선형 보간으로 인한 제곱형 복잡도 증가 문제를 해결하기 위해.
• 복원 품질을 훼손하지 않으면서 네트워크 파라미터와 추론 시간을 줄이기 위해.
• 이전 학습 전략을 활용해 다양한 업스케일링 요인에 대해 빠른 훈련과 추론을 가능하게 하기 위해.
• 일반적인 CPU에서 실시간 배포에 적합한 컴act하고 효율적인 아키텍처를 설계하기 위해.

제안 방법

• 네트워크 출력에서 이중선형 보간을 학습 가능한 디컨볼루션 레이어로 대체하여 사전 처리 단계의 업샘플링을 제거하고 계산 부담을 줄이기 위해.
• 입력 특징 차원을 먼저 압축하고, 매핑 후 확장하는 '압축-확장' 버팀목을 도입하여 저차원 공간에서의 효율적 표현 학습을 가능하게 하기 위해.
• 단일 넓은 매핑 레이어를 여러 개의 스택된 3×3 컨볼루션 레이어로 대체하여 더 낮은 파라미터 수로도 표현 능력을 향상시키기 위해.
• 시중의 네트워크를 시계열로 구성하여 중앙이 얇은 구조를 형성함으로써 효율성과 성능의 균형을 맞추기 위해.
• 이중선형 보간으로 인한 복잡도를 피하기 위해 저해상도 이미지에서 직접 네트워크를 훈련시키기 위해.
• 다양한 업스케일링 요인에 대해 빠른 적응을 가능하게 하기 위해, 전이 학습 전략을 제안함. 이 전략은 업스케일링 요인에 따라 데코일러션 레이어만 미세조정하면 되므로, 훈련 비용을 최소화한다.

실험 결과

연구 질문

• RQ1 이중선형 보간을 사용하는 기존 SRCNN의 성능을 떨어뜨리지 않고도 상당한 속도 향상을 이룰 수 있는가?
• RQ2 이중선형 보간을 학습 가능한 디컨볼루션 레이어로 대체하면 속도와 성능 양측 모두 향상되는가?
• RQ3 특징 차원의 압축과 확장을 통해 효율성을 향상시키면서도 정확도를 유지할 수 있는가?
• RQ4 작은 필터를 사용하고 깊이 있는 네트워크가 더 넓고 浅은 네트워크보다 초해상도 성능에서 뛰어나게 되는가?
• RQ5 최소한의 재학습으로도 동일한 네트워크 아키텍처를 다양한 업스케일링 요인에 효과적으로 적용할 수 있는가?

주요 결과

• FSRCNN는 Set5에서 ×3 업스케일링 시 PSNR를 0.16 dB 향상시키며 SRCNN-Ex 대비 40배 이상의 속도 향상을 달성했다. Set14에서도 동일하게 0.12 dB 향상되었다.
• FSRCNN-s는 일반적인 CPU에서 24 fps 이상의 속도로 실시간 성능을 달성했으며, Set5에서는 ×3 업스케일링에서 표준 SRCNN보다 PSNR를 0.18 dB 향상시켰고, Set14에서는 0.15 dB 향상되었다.
• 제안된 아키텍처는 모든 벤치마크 데이터셋에서 최고 성능을 기록했다: Set5(×2)에서 37.00 dB, Set5(×3)에서 33.16 dB, Set5(×4)에서 30.71 dB.
• 디컨볼루션 필터를 균일한 보간 커널로 대체할 경우 Set5에서 ×3 업스케일링 시 최소 0.9 dB의 PSNR 감소가 발생하여, 학습 가능한 업샘플링의 必要성을 입증했다.
• 전이 전략을 통해 빠른 적응이 가능했다. 데코일러션 레이어만 미세조정하면 다양한 업스케일링 요인에 대해 높은 정확도를 유지하면서도 훈련 비용을 최소화할 수 있었다.
• 특징 압축과 더 깊은 레이어를 포함한 시계열 아키텍처는 파라미터 수를 줄이며 성능을 향상시켰고, 낮은 복잡도로도 뛰어난 성능을 달성했다.