[논문 리뷰] Single Image Super-Resolution via a Holistic Attention Network

Ben Niu, Weilei Wen외 7명|arXiv (Cornell University)|2020. 08. 20.

Advanced Image Processing Techniques참고 문헌 40인용 수 85

한 줄 요약

이 논문은 계층 간, 채널 간, 위치 간의 의존성을 포착하여 단일 이미지 초해상도(SISR)를 향상시키기 위해 Layer Attention Module(LAM)과 Channel-Spatial Attention Module(CSAM)을 갖춘 Holistic Attention Network(HAN)을 제시합니다.

ABSTRACT

Informative features play a crucial role in the single image super-resolution task. Channel attention has been demonstrated to be effective for preserving information-rich features in each layer. However, channel attention treats each convolution layer as a separate process that misses the correlation among different layers. To address this problem, we propose a new holistic attention network (HAN), which consists of a layer attention module (LAM) and a channel-spatial attention module (CSAM), to model the holistic interdependencies among layers, channels, and positions. Specifically, the proposed LAM adaptively emphasizes hierarchical features by considering correlations among layers. Meanwhile, CSAM learns the confidence at all the positions of each channel to selectively capture more informative features. Extensive experiments demonstrate that the proposed HAN performs favorably against the state-of-the-art single image super-resolution approaches.

연구 동기 및 목표

• 채널 중심 어텐션이 무시하는 계층 간 상관관계를 이용하여 SISR에서 질감과 디테일 보존을 개선하도록 동기를 부여한다.
• 계층, 채널, 공간 의존성을 함께 모델링하는 holistic attention 프레임워크를 제안한다.
• LAM과 CSAM을 RCAN 기반 백본에 통합하여 특징 표현을 향상시킨다.
• 표준 SR 벤치마크에서 강력한 정량적·정성적 향상을 보여준다.

제안 방법

• 저해상도 입력으로부터 다중 레벨 특징을 추출하기 위해 RCAN을 백본으로 사용한다.
• 다른 잔차 그룹(RG)으로부터의 중간 특징 그룹 간의 상관관계를 학습하기 위해 Layer Attention Module(LAM)을 도입한다.
• 최종 특징 맵에 대해 채널 및 공간 의존성을 공동으로 학습하기 위한 Channel-Spatial Attention Module(CSAM)을 도입한다.
• LAM과 CSAM의 출력을 원소별 합산으로 융합하고 서브픽셀 컨볼루션 업샘플링 블록으로 HR 이미지를 재구성한다.
• RGB-LR에서 HR 매핑에 대해 L1 손실로 학습하고; YCbCr 공간에서 작동하며 PSNR/SSIM을 위해 휘도 채널을 평가한다.

실험 결과

연구 질문

• RQ1 계층적 특징들 간의 계층 간 관계를 어떻게 활용하여 SR 성능을 향상시킬 수 있는가?
• RQ2 공동 채널-공간 어텐션 메커니즘이 SR에서 정보성이 높은 질감과 디테일을 더 잘 포착할 수 있는가?
• RQ3 기준 어텐션 방법과 비교했을 때 LAM과 CSAM의 도입이 재구성 품질에 미치는 영향은 무엇인가?

주요 결과

• 제안된 HAN은 표준 열화 모델 하에서 벤치마크 데이터셋에서 최첨단 SISR 방법을 능가한다.
• 왜관 실험은 LAM이 PSNR/SSIM에서 큰 이득을 주고, CSAM이 추가 개선을 제공함을 보여준다.
• LAM과 CSAM을 함께 사용하면 최고의 성능과 질적으로 더 선명한 구조적 디테일을 얻을 수 있다.
• 셀프 앙상블 변형 HAN+은 스케일 전반에 걸쳐 결과를 더 향상시킨다.
• 대상적 적대적 손실(adversarial)이나 지각 손실(perceptual) 없이도 단순 L1 손실에 의존하여 여전히 경쟁력이 있다.