[논문 리뷰] Fast, Accurate, and Lightweight Super-Resolution with Cascading Residual Network

Namhyuk Ahn, Byungkon Kang외 1명|arXiv (Cornell University)|2018. 03. 23.

Advanced Image Processing Techniques인용 수 8

한 줄 요약

이 논문은 빠르고 정확하며 효율적인 단일 이미지 초해상도를 위한 CARN(Cascading Residual Network)과 그 경량 버전인 CARN-M을 제안한다. 잔차 네트워크 아키텍처 내부에서 국소적이고 전역적인 연쇄 잔차 연결을 통합함으로써 CARN은 특징 전파와 기울기 흐름을 향상시켜, 파rameter 수와 연산 수를 크게 줄였음에도 불구하고 최신 기술 수준의 성능을 달성한다. CARN-M는 CARN 대비 파rameter 수를 5배 줄이고 연산 수를 거의 4배 줄였으며, PSNR 손실은 단지 0.29 뿐이다.

ABSTRACT

In recent years, deep learning methods have been successfully applied to single-image super-resolution tasks. Despite their great performances, deep learning methods cannot be easily applied to real-world applications due to the requirement of heavy computation. In this paper, we address this issue by proposing an accurate and lightweight deep network for image super-resolution. In detail, we design an architecture that implements a cascading mechanism upon a residual network. We also present variant models of the proposed cascading residual network to further improve efficiency. Our extensive experiments show that even with much fewer parameters and operations, our models achieve performance comparable to that of state-of-the-art methods.

연구 동기 및 목표

• 높은 계산 비용으로 인해 딥러닝 기반 초해상도 방법의 실세계 적용성에 격차가 존재하는 문제를 해결한다.
• 모바일 및 실시간 영상 스트리밍 응용 분야에 적합한 경량이면서도 정확한 딥러닝 모델을 설계한다.
• 기존의 경량 모델이 파arameter 수 감소에만 집중하는 데서 비롯되는 한계를 극복한다. 연산 수나 추론 속도도 고려한다.
• 다중 특징 수준 간의 정보 흐름과 기울기 전파를 향상시키기 위해 연쇄 잔차 아키텍처를 개발한다.
• 효율적인 잔차 블록과 재귀적 네트워크 설계를 통해 모델 효율성을 최적화하여 실용적 구현을 가능하게 한다.

제안 방법

• 국소적(블록 단위) 및 전역적(레이어 단위) 수준에서 연쇄 연결을 적용하는 연쇄 잔차 네트워크(CARN)를 제안하여 특징 표현력과 기울기 흐름을 향상시킨다.
• 다중 수준의 단순 경로 연결을 갖춘 잔차 블록을 통합하여 깊은 감독을 가능하게 하고, 기울기 소실 문제를 완화한다.
• 군집화 컨볼루션을 사용하여 계산 비용을 줄이면서도 성능을 유지하는 효율적인 잔차 블록(residual-E)을 설계한다.
• 공유된 가중치를 레이어 간에 반복적으로 사용함으로써 모델 파arameter 수를 줄이기 위해 재귀적 네트워크 기법을 구현한다.
• 효율적인 잔차 블록과 재귀적 연쇄 연결을 조합하여 CARN-M을 개발한다. 이는 속도와 낮은 연산 수를 고려한 경량화된 버전이다.
• 기본 데이터셋(Set14, DIV2K, Set5)을 대상으로 다중 해상도 학습 전략을 사용하여 다양한 초해상도 스케일에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 모델 복잡도 증가 없이도 연쇄 잔차 아키텍처가 단일 이미지 초해상도에서 특징 표현력과 성능을 향상시킬 수 있는가?
• RQ2 국소적 및 전역적 연쇄 연결을 동시에 적용할 경우, 깊은 초해상도 네트워크에서 기울기 흐름과 모델 최적화에 어떤 영향을 미치는가?
• RQ3 효율적인 잔차 블록과 재귀적 네트워크를 통해 파arameter 수와 연산 수를 얼마나 줄일 수 있으며, 경쟁력 있는 PSNR 성능를 유지할 수 있는가?
• RQ4 재귀적 네트워크 기법이 성능을 떨어뜨리는가? 만약 그렇다면, 효율성 향상와의 균형을 어떻게 맞출 수 있는가?
• RQ5 CARN-M과 같은 경량 모델이 실시간 응용에서 최신 기술 수준의 무거운 모델과 유사한 성능을 달성할 수 있는가?

주요 결과

• CARN은 ×4 초해상도에서 Set14 데이터셋에서 PSNR 28.70을 기록하여 복잡도가 감소했음에도 불구하고 기존 최신 기술 수준의 방법들을 능가한다.
• CARN-M은 CARN 대비 파arameter 수를 5배 줄이고 연산 수를 거의 4배 줄였으며, PSNR 손실은 단지 0.29 뿐이다.
• 전역적 연쇄 연결과 국소적 연쇄 연결을 병합한 아키텍처는 단일 유형의 연쇄 연결 또는 전혀 연결이 없는 모델보다 성능 향상이著명하다.
• 재귀적 네트워크 기법을 사용한 모델는 다중 곱셈-덧셈 연산(Mult-Adds) 수에 변화가 없지만, 파arameter 수 감소로 인해 성능이 약간 떨어진다.
• 군집 크기가 4인 효율적인 잔차 블록과 재귀적 연쇄 연결의 조합이 성능와 효율성 사이의 최적의 트레이드오프를 이룬다. 이는 CARN-M의 기초가 된다.
• 시각적 비교 결과, CARN과 CARN-M는 기준 방법에 비해 더 선명한 질감과 더 적은 잡음 및 아티팩트를 생성하며, 특히 고주파 영역에서 뚜렷한 우수성을 보였다.