[논문 리뷰] Revisiting RCAN: Improved Training for Image Super-Resolution

Zudi Lin, Prateek Garg외 7명|arXiv (Cornell University)|2022. 01. 27.

Advanced Image Processing Techniques인용 수 47

한 줄 요약

본 논문은 RCAN에 현대적 학습 전략을 적용하면( RCAN-it ) 모델이 최소한의 구조적 변경으로 이후의 많은 CNN 기반 SR 방법들과 대등하거나 우수한 성능을 달성할 수 있으며, 과소적합이 주요 병목임을 드러낸다.

ABSTRACT

Image super-resolution (SR) is a fast-moving field with novel architectures attracting the spotlight. However, most SR models were optimized with dated training strategies. In this work, we revisit the popular RCAN model and examine the effect of different training options in SR. Surprisingly (or perhaps as expected), we show that RCAN can outperform or match nearly all the CNN-based SR architectures published after RCAN on standard benchmarks with a proper training strategy and minimal architecture change. Besides, although RCAN is a very large SR architecture with more than four hundred convolutional layers, we draw a notable conclusion that underfitting is still the main problem restricting the model capability instead of overfitting. We observe supportive evidence that increasing training iterations clearly improves the model performance while applying regularization techniques generally degrades the predictions. We denote our simply revised RCAN as RCAN-it and recommend practitioners to use it as baselines for future research. Code is publicly available at https://github.com/zudi-lin/rcan-it.

연구 동기 및 목표

• 학습 전략이 RCAN의 SR 이득을 아키텍처 변경보다 주도하는지 여부를 조사한다.
• 표준 SR 학습 설정에서 RCAN이 과적합보다 과소적합에 의해 더 제약받는지 여부를 확인한다.
• 아키텍처를 최소로 변경하면서 RCAN의 성능을 강화하는 실용적이고 확장 가능한 학습 프로토콜(RCAN-it)을 제시한다.

제안 방법

• 비전 과제에서의 현시대 학습 및 정규화 기법들을 조사한다.
• RCAN에 큰 배치 크기 학습과 Lamb 옵티마이저 및 코사인 스케줄링을 적용한다.
• RCAN에서 ReLU를 SiLU 활성화로 교체하고 영향력을 평가한다.
• 더 긴 학습 시간, 더 큰 패치로의 파인튜닝, FP16 분석, 선택적 정규화를 활용하여 효과를 연구한다.
• SR 스케일 간 가중치를 전이하기 위한 워밍 스타트(따뜻한 시작)를 사용한다( x2에서 x3/x4로).
• 아벨레이션 연구와 오라클 분석을 제공하여 상한 및 데이터/도메인 효과를 평가한다.

실험 결과

연구 질문

• RQ1 RCAN의 성능 향상이 주로 학습을 통해서인지, 아니면 아키텍처 변경에 의해인지 확인할 수 있는가?
• RQ2 표준 SR 학습 체계에서 RCAN이 과소적합에 의해 더 제약받는가, 아니면 과적합에 의해 제약받는가?
• RQ3 일반 벤치마크에서 RCAN에 대해 어떤 학습 전략 조합이 최적의 SR 성능을 제공하는가?

주요 결과

• RCAN-it은 x2 SR에서 Manga109에 대해 39.88 dB PSNR을 달성하여 RCAN 대비 0.44 dB의 향상을 보이며, 최신 CNN/SR 방법과 대등하거나 더 나은 성능을 보인다.
• 셀프 앙상블을 사용할 경우 RCAN-it은 40.04 dB PSNR에 도달하여 셀프 앙상블 여부에 상관없이 기존 모든 접근법을 능가한다.
• 256 배치의 대형 배치 학습과 Lambda 옵티마이저 및 코사인 스케줄링으로 학습 시간이 약 77% 단축되면서도 비슷한 성능을 유지한다.
• 더 긴 학습 및 더 큰 패치 파인튜닝은 Set5, Set14, B100, Urban100, Manga109 전반에서 PSNR을 지속적으로 향상시키며, RCAN의 경우 과소적합을 시사한다.
• recognition에서 효과적인 정규화 기법(강력한 증강, Mixup, 확률적 깊이 등)은 일반적으로 RCAN의 SR 성능을 저하시켜 도메인별 학습 필요성을 강조한다.
• SR 스케일(x2에서 x3/x4) 간의 워밍 스타트와 꼬리 모듈 파인튜닝은 학습 비용을 크게 줄이면서도 강력한 성능을 유지한다.