[논문 리뷰] Accurate Image Super-Resolution Using Very Deep Convolutional Networks

Jiwon Kim, Jung Kwon Lee외 1명|arXiv (Cornell University)|2015. 11. 14.

Advanced Image Processing Techniques참고 문헌 15인용 수 63

한 줄 요약

이 논문은 매우 깊은(20층) 잔차 합성곱 신경망을 사용하여 고정밀 단일 이미지 슈퍼레졸루션을 구현하는 Very Deep Super-Resolution(VDSR)를 제안한다. 저해상도와 고해상도 이미지 간의 잔차를 모델링하고, 기울기 클리핑을 통해 매우 높은 학습률을 적용함으로써 빠른 수렴과 최신 기술 수준의 성능을 달성한다. Set5에서 ×2 스케일링 시 SRCNN 대비 최대 0.87 dB 향상된 PSNR를 기록한다.

ABSTRACT

We present a highly accurate single-image super-resolution (SR) method. Our method uses a very deep convolutional network inspired by VGG-net used for ImageNet classification \cite{simonyan2015very}. We find increasing our network depth shows a significant improvement in accuracy. Our final model uses 20 weight layers. By cascading small filters many times in a deep network structure, contextual information over large image regions is exploited in an efficient way. With very deep networks, however, convergence speed becomes a critical issue during training. We propose a simple yet effective training procedure. We learn residuals only and use extremely high learning rates ($10^4$ times higher than SRCNN \cite{dong2015image}) enabled by adjustable gradient clipping. Our proposed method performs better than existing methods in accuracy and visual improvements in our results are easily noticeable.

연구 동기 및 목표

• 얕은 네트워크를 사용하는 기존 딥러닝 기반 슈퍼레졸루션 방법의 느린 수렴과 제한된 정확도 문제를 해결한다.
• 이전에는 깊은 모델이 성능 향상을 이룰 수 없었던 이미지 슈퍼레졸루션을 위한 매우 깊은 네트워크 학습 과제를 극복한다.
• 각 스케일에 맞는 별도의 모델이 필요 없이 하나의 모델로 다중 스케일 요소(예: ×2, ×3, ×4)를 일반화할 수 있는 솔루션을 개발한다.
• 큰 수신장으로 구성된 깊은 아키텍처를 통해 넓은 영역의 문맥 정보를 활용하여 성능을 향상시킨다.

제안 방법

• 장기적인 문맥적 의존성을 스택된 합성곱을 통해 포착하기 위해 3×3 필터를 사용하는 매우 깊은 잔차 신경망(20개의 가중치 레이어)을 제안한다.
• 직접 고해상도 이미지를 모델링하는 대신 고해상도와 저해상도 이미지 간의 잔차 이미지를 모델링함으로써 더 빠르고 안정적인 학습을 가능하게 한다.
• 잔차 학습과 적응형 기울기 클리핑 덕분에 매우 높은 초기 학습률(0.1, SRCNN 대비 약 10⁴배 높음)을 효과적으로 활용한다.
• ReLU 활성화 함수를 사용하는 깊은 네트워크의 안정적 학습을 위해 배치 정규화와 He 스타일의 가중치 초기화를 적용한다.
• 각 스케일에 맞게 별도로 재학습하지 않고도 다중 스케일 요소(×2, ×3, ×4)를 일반화하는 단일 깊은 네트워크를 학습한다.
• 일반화 및 강건성을 향상시키기 위해 학습 중에 데이터 증강(회전 및 반전)을 적용한다.

실험 결과

연구 질문

• RQ1 SRCNN와 같은 얕은 네트워크에 비해 매우 깊은 잔차 신경망이 슈퍼레졸루션 정확도를 크게 향상시킬 수 있는가?
• RQ2 기울기 폭주 없이 매우 높은 학습률을 사용해도 깊은 슈퍼레졸루션 네트워크 학습에 효과적으로 적용될 수 있는가?
• RQ3 고해상도 이미지를 직접 모델링하는 대신 잔차 이미지를 모델링하면 수렴 속도가 빨라지고 성능이 향상되는가?
• RQ4 재학습 없이도 단일 깊은 네트워크가 ×2, ×3, ×4와 같은 다양한 스케일 요소를 효과적으로 처리할 수 있는가?
• RQ5 매우 깊은 네트워크에서 수신장 크기가 재구성된 이미지의 세부 사항 품질에 어떤 영향을 미치는가?

주요 결과

• Set5 데이터셋에서 ×3 슈퍼레졸루션에 대해 VDSR 모델은 33.27 dB의 PSNR를 기록하여 이전 최고 성능 기준(SRCNN)보다 0.87 dB 향상되었다.
• Urban100 데이터셋에서 ×4 슈퍼레졸루션에 대해 VDSR는 30.95 dB의 PSNR를 기록하여 최고의 이전 방법(RFL)보다 0.11 dB 높았다.
• ×2, ×3, ×4 스케일에서 학습된 다중 스케일 VDSR 모델은 ×3에서 33.27 dB의 PSNR를 기록하여 단일 스케일 ×3 모델(32.89 dB)을 능가했다.
• 학습 수렴 속도가 크게 향상되었으며, 잔차 학습과 기울기 클리핑 덕분에 높은 학습률(0.1)을 사용해 80 에포크 만에 최적 성능에 도달했다.
• 시각적 결과에서는 VDSR이 SRCNN 및 기타 방법에 비해 더 정확하게 미세한 디테일과 날카운 테두리를 재구성하며, 최소한의 흐림이나 왜곡을 보였다.
• 다양한 이미지 유형, 특히 Urban100 데이터셋의 도시 풍경과 같은 도전적인 케이스에서도 수치적 및 시각적 평가 모두에서 기존 방법들을 일관되게 능가하는 강건성을 보였다.