[논문 리뷰] Fast and Accurate Image Super Resolution by Deep CNN with Skip Connection and Network in Network

Jin Yamanaka, Shigesumi Kuwashima외 1명|arXiv (Cornell University)|2017. 07. 18.

Advanced Image Processing Techniques참고 문헌 15인용 수 42

한 줄 요약

이 논문은 단일 이미지 초해상도를 위한 경량 딥 컨볼루션 신경망 아키텍처인 DCSCN을 제안한다. 이는 잔차 학습, 스킵 커넥션, 그리고 네트워크 인 네트워크(NiN) 모듈을 결합하여 기존의 깊은 모델 대비 최소 10배 이상 낮은 계산 비용으로 최신 기술 수준의 재구성 품질을 달성한다. 이 방법은 네트워크 깊이, 필터 수를 최적화하고 1×1 컨볼루션을 사용하여 차원 감소 및 효율적인 특징 처리를 통해 자원 제약이 있는 장치에서 빠르고 정확한 이미지 복원을 가능하게 한다.

ABSTRACT

We propose a highly efficient and faster Single Image Super-Resolution (SISR) model with Deep Convolutional neural networks (Deep CNN). Deep CNN have recently shown that they have a significant reconstruction performance on single-image super-resolution. Current trend is using deeper CNN layers to improve performance. However, deep models demand larger computation resources and is not suitable for network edge devices like mobile, tablet and IoT devices. Our model achieves state of the art reconstruction performance with at least 10 times lower calculation cost by Deep CNN with Residual Net, Skip Connection and Network in Network (DCSCN). A combination of Deep CNNs and Skip connection layers is used as a feature extractor for image features on both local and global area. Parallelized 1x1 CNNs, like the one called Network in Network, is also used for image reconstruction. That structure reduces the dimensions of the previous layer's output for faster computation with less information loss, and make it possible to process original images directly. Also we optimize the number of layers and filters of each CNN to significantly reduce the calculation cost. Thus, the proposed algorithm not only achieves the state of the art performance but also achieves faster and efficient computation. Code is available at https://github.com/jiny2001/dcscn-super-resolution

연구 동기 및 목표

• 엣지 장치에 배포하기 위해 계산 비용을 크게 줄이고도 높은 재구성 정확도를 유지하는 딥 컨볼루션 신경망 기반 초해상도 모델을 개발하는 것.
• 모바일 및 IoT 환경에서 깊은 잔차 신경망의 비효율성을 해결하기 위해 네트워크 깊이와 필터 수를 최적화하는 것.
• 스킵 커넥션과 잔차 학습을 통해 국소 및 전역 수용영역에서의 특징 추출을 향상시키는 것.
• 네트워크 인 네트워크 아키텍처에서 차원 감소를 위한 1×1 컨볼루션을 사용하여 저해상도 입력에서 직접 엔드 투 엔드 이미지 재구성을 가능하게 하는 것.
• 기존의 깊은 CNN 모델들에 비해 상당히 낮은 FLOPs로 이미지 초해상도 분야에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 매우 깊은 아키텍처에서 훈련 안정성과 기울기 흐름 향상을 위해 깊은 잔차 신경망에 스킵 커넥션을 적용한다.
• 다양한 레이어에서의 특징를 유지하고 결합하기 위해 스킵 커넥션을 사용하여 국소 및 전역 특징 표현을 향상시킨다.
• 특징 맵의 차원을 감소시켜 정보 손실을 최소화하고 계산을 가속화하기 위해 1×1 컨볼루션 레이어를 포함한 네트워크 인 네트워크(NiN) 모듈을 통합한다.
• 특징 맵을 효율적으로 투영하고 압축하기 위해 병렬 1×1 컨볼루션을 사용하여 정밀도 저하 최소화로 빠른 추론을 가능하게 한다.
• 각 컨볼루션 블록의 레이어 수와 필터 수를 체계적으로 최적화하여 FLOPs를 최소화하면서도 높은 재구성 정밀도를 유지한다.
• 사전 처리나 후처리가 필요 없이 저해상도 입력에서 직접 고해상도 이미지를 재구성하기 위해 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 신경망 기반 초해상도 모델이 기존의 깊은 모델 대비 상당히 낮은 계산 비용으로 최신 기술 수준의 재구성 품질을 달성할 수 있는가?
• RQ2 스킵 커넥션과 잔차 학습은 깊은 네트워크에서 이미지 초해상도 분야의 특징 표현을 어떻게 향상시키는가?
• RQ3 1×1 컨볼루션을 포함한 네트워크 인 네트워크 모듈이 이미지 재구성 품질에 영향을 주지 않으면서 FLOPs를 얼마나 줄일 수 있는가?
• RQ4 실시간 엣지 장치 배포를 위해 네트워크 깊이, 필터 수, 계산 효율성 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 경량 CNN 모델이 단일 이미지 초해상도 분야에서 더 깊고 파rameter가 많은 모델들보다 속도와 정확도 면에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 DCSCN 모델은 벤치마크 데이터셋에서 PSNR 및 SSIM 지표 측면에서 최신 기술 수준의 이미지 초해상도 성능을 달성한다.
• 기존의 깊은 CNN 기반 초해상도 방법들에 비해 계산 비용을 최소 10배 이상 줄여 모바일 및 IoT 장치에 적합하다.
• 스킵 커넥션과 잔차 학습의 통합은 성능 저하 없이 더 깊은 네트워크의 안정적인 훈련을 가능하게 한다.
• 네트워크 인 네트워크 구조에서 1×1 컨볼루션 레이어의 사용은 정보 손실 최소화로 특징 맵 차원을 효과적으로 감소시킨다.
• 네트워크 깊이와 필터 수의 최적 설정은 FLOPs를 상당히 줄이면서도 높은 재구성 정확도를 유지한다.
• 중간 변환 없이 저해상도 이미지를 직접 처리할 수 있어 추론 파이프라인을 단순화한다.