[논문 리뷰] Single Image Super-resolution with a Parameter Economic Residual-like Convolutional Neural Network

Yudong Liang, Ze Yang외 4명|arXiv (Cornell University)|2017. 03. 23.

Advanced Image Processing Techniques인용 수 2

한 줄 요약

이 논문은 단일 이미지 초해상도 분석을 위한 파라미터 효율적인 잔차 유사 컨volution 신경망을 제안하며, 변동형 네트워크 깊이와 스킵 연결을 활용하여 기울기 소실 문제를 완화하고 계산 비용을 절감한다. 상태 최고 수준의 PSNR 및 SSIM 점수를 달성하면서도 시각적으로 매력적인 결과를 도출하며, 잔차 신경망 내 활성화 중심화와 앙상블 행동에 대한 광범위한 분석을 수행한다.

ABSTRACT

Recent years have witnessed great success of convolutional neural network (CNN) for various problems both in low and high level visions. Especially noteworthy is the residual network which was originally proposed to handle high-level vision problems and enjoys several merits. This paper aims to extend the merits of residual network, such as skip connection induced fast training, for a typical low-level vision problem, i.e., single image super-resolution. In general, the two main challenges of existing deep CNN for supper-resolution lie in the gradient exploding/vanishing problem and large numbers of parameters or computational cost as CNN goes deeper. Correspondingly, the skip connections or identity mapping shortcuts are utilized to avoid gradient exploding/vanishing problem. In addition, the skip connections have naturally centered the activation which led to better performance. To tackle with the second problem, a lightweight CNN architecture which has carefully designed width, depth and skip connections was proposed. In particular, a strategy of gradually varying the shape of network has been proposed for residual network. Different residual architectures for image super-resolution have also been compared. Experimental results have demonstrated that the proposed CNN model can not only achieve state-of-the-art PSNR and SSIM results for single image super-resolution but also produce visually pleasant results. This paper has extended the mmm 2017 oral conference paper with a considerable new analyses and more experiments especially from the perspective of centering activations and ensemble behaviors of residual network.

연구 동기 및 목표

• 단일 이미지 초해상도를 위한 깊은 CNN에서 기울기 소실 문제와 높은 파라미터 수의 과제를 해결한다.
• 특히 스킵 연결과 아이덴티티 스트로크를 포함한 잔차 신경망의 이점을 초해상도와 같은 저수준 시각 작업에 확장한다.
• 폭과 깊이, 스킵 연결을 제어할 수 있도록 설계된 경량 CNN 아키텍처를 제안하여 계산 비용을 줄이되 성능을 희생시키지 않는다.
• 잔차 신경망 내 활성화 중심화와 앙상블 행동의 역할을 조사하여 훈련 안정성과 모델 일반화 능력을 향상시킨다.
• mmm 2017 오럴 컨퍼런스 논문을 넘어서 아키텍처 설계와 활성화 동역학에 중점을 둔 포괄적인 분석과 추가 실험을 제공한다.

제안 방법

• 대표성 능력과 파라미터 효율성의 균형을 이루기 위해 점진적으로 변화하는 네트워크 깊이를 갖춘 잔차 유사 CNN 아키텍처를 도입한다.
• 깊은 네트워크에서 흔히 발생하는 기울기 소실 문제를 완화하고 훈련을 안정화하기 위해 스킵 연결(아이덴티티 스트로크)을 활용한다.
• 성능 저하 없이도 최소한의 파라미터를 유지하기 위해 네트워크의 폭과 깊이를 정밀하게 조정한다.
• 아이덴티티 매핑을 활용해 활성화를 자연스럽게 중심화시켜 훈련 수렴성과 모델 안정성을 향상시킨다.
• 특징의 복잡성에 따라 표현 능력을 동적으로 조정할 수 있도록 계층 간에 적응형 깊이 변화 전략을 구현한다.
• 스킵 연결과 네트워크 깊이의 영향을 초해상도 성능에 미치는 영향을 평가하기 위해 다양한 잔차 아키텍처를 비교한다.

실험 결과

연구 질문

• RQ1 스킵 연결과 아이덴티티 스트로크는 깊은 CNN에서 단일 이미지 초해상도 작업에 있어 훈련 안정성과 성능에 어떻게 영향을 미치는가?
• RQ2 폭과 깊이를 제어하는 경량 CNN 아키텍처는 성능을 훼손하지 않으면서 얼마나 많은 파라미터 수와 계산 비용을 줄일 수 있는가?
• RQ3 스킵 연결에 의해 유도되는 활성화 중심화가 초해상도 신경망에서 모델 수렴성과 일반화 능력에 어떻게 영향을 미치는가?
• RQ4 계층 간에 네트워크 깊이를 다양화함으로써 복원된 고해상도 이미지의 품질에 어떤 영향을 미치는가?
• RQ5 잔차 신경망의 앙상블 행동은 초해상도 작업에서 성능 향상에 어떻게 기여하는가?

주요 결과

• 제안된 모델은 단일 이미지 초해상도의 벤치마크 데이터셋에서 최신 기준 수준의 PSNR 및 SSIM 점수를 달성한다.
• 스킵 연결의 사용은 깊은 네트워크에서 기울기 소실 문제를 완화함으로써 훈련 안정성을 크게 향상시킨다.
• 아이덴티티 스트로크에 의해 유도되는 활성화 중심화로 인해 수렴성이 향상되고 모델 성능이 향상된다.
• 적응형 깊이 변화 전략은 높은 재구성 품질을 유지하면서도 효율적인 파라미터 활용을 가능하게 한다.
• 경량 아키텍처는 성능을 훼손하지 않으면서도 계산 비용을 줄여 강력한 효율성-정확도 트레이드오프를 보여준다.
• 광범위한 아블레이션 및 분석을 통해 활성화 중심화와 잔차 신경망의 앙상블 행동이 초해상도 작업에 있어 중요시됨을 확인한다.