[논문 리뷰] Attention in Attention Network for Image Super-Resolution

Haoyu Chen, Jinjin Gu외 1명|arXiv (Cornell University)|2021. 04. 19.

Advanced Image Processing Techniques참고 문헌 41인용 수 63

한 줄 요약

이 논문은 주의 모듈이 SISR에 미치는 영향을 분석하고, Attention in Attention Network (A2N)을 도입하며 주의 경로와 비주의 경로를 적응적으로 가중하는 동적 두-브랜치 A2B 블록으로 경량 매개변수 증가로 SR 성능을 향상시킨다.

ABSTRACT

Convolutional neural networks have allowed remarkable advances in single image super-resolution (SISR) over the last decade. Among recent advances in SISR, attention mechanisms are crucial for high-performance SR models. However, the attention mechanism remains unclear on why and how it works in SISR. In this work, we attempt to quantify and visualize attention mechanisms in SISR and show that not all attention modules are equally beneficial. We then propose attention in attention network (A$^2$N) for more efficient and accurate SISR. Specifically, A$^2$N consists of a non-attention branch and a coupling attention branch. A dynamic attention module is proposed to generate weights for these two branches to suppress unwanted attention adjustments dynamically, where the weights change adaptively according to the input features. This allows attention modules to specialize to beneficial examples without otherwise penalties and thus greatly improve the capacity of the attention network with few parameters overhead. Experimental results demonstrate that our final model A$^2$N could achieve superior trade-off performances comparing with state-of-the-art networks of similar sizes. Codes are available at https://github.com/haoyuc/A2N.

연구 동기 및 목표

• 네트워크 단계 전반에 걸쳐 주의 모듈이 SR에 어떤 영향을 미치는지 정량화한다.
• 모든 주의 모듈이 이로운 것은 아니며, 어떤 경우에 SR 성능에 도움되거나 해를 끼치는지 확인한다.
• 저비용의 동적 두-브랜치 주의 메커니즘(A2)과 SR 향상을 위한 A2N 네트워크를 제안한다.
• 유사한 규모에서 A2N이 최신의 경량 SR 모델들보다 성능이 우수하다는 것을 보인다.

제안 방법

• 주의 블록을 비주의 분기와 주의 분기로 나누는 동적 주의 프레임워크를 제안한다.
• 동일 입력 피처에서 분기 가중치를 합이 1이 되도록 제약을 두고 계산하는 동적 주의 모듈을 도입한다.
• 학습 가능한 1x1 합성곱으로 분기를 융합하여 다음 피처 맵을 형성한다.
• A2B로 A2 블록을 구성하고 얕은 특징 추출과 재구성 모듈을 갖춘 A2N 네트워크로 적층한다.
• Y 채널에서 PSNR/SSIM으로 표준 SR 벤치마크에서 평가한다.
• 유사한 매개변수 수를 가진 여러 SR 방법과 비교한다.

실험 결과

연구 질문

• RQ1 SR에서 이미지의 어떤 부분이 주의 메커니즘의 이점을 가장 많이 얻는지, 네트워크 깊이에 따라 어떻게 달라지는가?
• RQ2 모든 주의 모듈이 SR에 동등하게 이로운가, 아니면 일부가 성능 저해가 될 수 있는가?
• RQ3 입력별로 분기 기여도를 조정하여 동적 두-브랜치 주의 설계가 SR 성능을 효율적으로 향상시킬 수 있는가?
• RQ4 제안된 A2N이 일반적인 데이터세트에서 유사한 규모의 최신 SR 모델들과 어떻게 비교되는가?

주요 결과

• 다른 계층에서의 주의 모듈은 서로 다르게 반응한다; 초기 계층은 저주파 성분을 강조하는 경향이 있고, 후기 계층은 고주파 디테일을 강조한다.
• 모든 계층에 걸쳐 주의를 균일하게 적용하면 이점이 제한적이다; 특정 블록에 선택적으로 주의를 적용하거나 동적 가중치를 사용하는 것이 더 효과적일 수 있다.
• A2 구조는 입력 의존적 가중치를 가진 저비용의 이분 융합(주의 및 비주의)을 가능하게 하여 매개변수 오버헤드가 거의 없으면서 용량을 향상시킨다.
• A2N은 표준 벤치마크에서 축소 배율 x2, x3, x4에 대해 최신의 경량 SR 모델과 비교해 경쟁력 있거나 우수한 PSNR/SSIM을 달성한다.
• Manga109에서 스케일 x3일 때, A2N-M은 PSNR에서 AWSRN-M을 0.15 dB 앞선다; Urban100 및 Manga109에서 더 큰 스케일에서는 A2N이 IMDN보다 PSNR에서 0.2 dB 이상 더 우수하다.
• Dynamic Attention Module (DAM)은 baseline 방법에 비해 확산 지수(DI)가 더 높고 입력 활용 폭이 넓은(LAM 분석), 이는 LR 정보를 더 효과적으로 사용함을 시사한다.