[논문 리뷰] Image Super-Resolution Using Very Deep Residual Channel Attention Networks

Yulun Zhang, Kunpeng Li외 4명|arXiv (Cornell University)|2018. 07. 08.

Advanced Image Processing Techniques참고 문헌 40인용 수 264

한 줄 요약

RCAN은 깊은 잔차 채널 주의 네트워크와 잔차-잔차(RIR) 구조 및 채널 주의(CA)를 통해 특히 고배율에서 최첨단 이미지 초해상도를 달성합니다.

ABSTRACT

Convolutional neural network (CNN) depth is of crucial importance for image super-resolution (SR). However, we observe that deeper networks for image SR are more difficult to train. The low-resolution inputs and features contain abundant low-frequency information, which is treated equally across channels, hence hindering the representational ability of CNNs. To solve these problems, we propose the very deep residual channel attention networks (RCAN). Specifically, we propose a residual in residual (RIR) structure to form very deep network, which consists of several residual groups with long skip connections. Each residual group contains some residual blocks with short skip connections. Meanwhile, RIR allows abundant low-frequency information to be bypassed through multiple skip connections, making the main network focus on learning high-frequency information. Furthermore, we propose a channel attention mechanism to adaptively rescale channel-wise features by considering interdependencies among channels. Extensive experiments show that our RCAN achieves better accuracy and visual improvements against state-of-the-art methods.

연구 동기 및 목표

• 이미지 SR를 위한 더 깊은 네트워크를 동기부여하고 학습 어려움을 극복한다.
• 스킵 연결을 통해 풍부한 저주파 정보를 우회하여 학습을 개선한다.
• 정보성 특징 채널을 적응적으로 강조하기 위해 채널 주의를 도입한다.
• 표준 벤치마크에서 매우 깊은 RCAN이 기존의 SR 방법들보다 우수하다는 것을 입증한다.

제안 방법

• 장기 스킵 연결을 포함한 잔차-잔차(RIR) 구조를 제안하여 매우 깊은 네트워크(>400층)를 가능하게 한다.
• 짧은 스킵 연결을 갖는 다수의 RCAB를 포함하는 잔차 그룹(RG)을 사용하여 깊이를 확장한다.
• 특징 채널 간의 상호 의존성을 모델링하고 채널별 특징을 재스케일링하기 위해 채널 주의(CA)를 도입한다.
• RG 안에 RCAB(잔차 채널 주의 블록)를 삽입하여 잔차 고주파 정보를 학습한다.
• 마지막에 ESPCNN 기반 업스케일 모듈을 적용하여 고해상도 출력을 생성한다.
• DIV2K로부터 LR→HR 매핑에 L1 손실로 학습하고 표준 SR 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 극도로 깊은 네트워크가 기존의 깊은 SR 모델을 넘어서는 성능을 낼 수 있는가?
• RQ2 잔차-잔차(RIR) 구조가 매우 깊은 SR 네트워크의 학습을 안정시키는가?
• RQ3 채널 주의(CA)가 SR에서 고주파 채널별 특징 학습으로 효과적으로 가이드를 제공하는가?
• RQ4 다양한 배율과 데이터셋에 걸쳐 RCAN이 최첨단 SR 방법과 어떻게 비교되는가?

주요 결과

• RCAN은 표준 벤치마크(Set5, Set14, B100, Urban100, Manga109)에서 2×, 3×, 4×, 8× 배율에 대해 이전 방법들보다 PSNR/SSIM이 우수하다.
• 셀프 엔스듈링(RCAN+)은 깊이를 늘리지 않고도 RCAN 대비 결과를 더 향상시키며 RCAN+가 일관되게 최상의 결과를 산출한다.
• RIR은 학습을 크게 안정시키고 400층이 넘는 네트워크가 상당한 SR 이득을 제공하도록 한다.
• 채널 주의(CA)는 채널별 특징을 적응적으로 재스케일링하여 추가 이득을 제공하며, 특히 매우 깊은 아키텍처와 함께 사용할 때 그렇다.
• RCAN은 Urban100, Manga109와 같은 어려운 데이터셋에서 큰 배율로 주목할 만한 개선을 달성하며, EDSR와 같이 더 깊지만 덜 유연한 베이스라인을 능가한다.