[논문 리뷰] Efficient Image Super-Resolution Using Pixel Attention

Hengyuan Zhao, Xiangtao Kong외 3명|arXiv (Cornell University)|2020. 10. 02.

Advanced Image Processing Techniques참고 문헌 46인용 수 43

한 줄 요약

PAN은 픽셀 어텐션(PA)을 도입하여 경량 SR 네트워크를 구축하고, 기준 경량 모델들보다 훨씬 적은 파라미터로 경쟁력 있는 PSNR을 달성합니다. 주 경로에는 SC-PA 블록, 재구성에는 U-PA 블록을 포함합니다.

ABSTRACT

This work aims at designing a lightweight convolutional neural network for image super resolution (SR). With simplicity bare in mind, we construct a pretty concise and effective network with a newly proposed pixel attention scheme. Pixel attention (PA) is similar as channel attention and spatial attention in formulation. The difference is that PA produces 3D attention maps instead of a 1D attention vector or a 2D map. This attention scheme introduces fewer additional parameters but generates better SR results. On the basis of PA, we propose two building blocks for the main branch and the reconstruction branch, respectively. The first one - SC-PA block has the same structure as the Self-Calibrated convolution but with our PA layer. This block is much more efficient than conventional residual/dense blocks, for its twobranch architecture and attention scheme. While the second one - UPA block combines the nearest-neighbor upsampling, convolution and PA layers. It improves the final reconstruction quality with little parameter cost. Our final model- PAN could achieve similar performance as the lightweight networks - SRResNet and CARN, but with only 272K parameters (17.92% of SRResNet and 17.09% of CARN). The effectiveness of each proposed component is also validated by ablation study. The code is available at https://github.com/zhaohengyuan1/PAN.

연구 동기 및 목표

• 효율적인 단일 이미지 초해상도(SISR)를 경량 모델로 촉진한다.
• 매우 적은 파라미터로 3D 어텐션 맵을 생성하는 픽셀 어텐션(PA)을 제안한다.
• PA를 주 경로의 Self-Calibrated 컨볼루션 블록(SC-PA)에 통합한다.
• 재구성 업샘플링 블록에서 PA를 적용하는 재구성 블록(U-PA)을 도입한다.
• 경량 SR 모델과의 경쟁력 있는 성능을 달성하면서 파라미터 수를 대폭 줄인다.

제안 방법

• Pixel Attention(PA)을 1x1 컨브 + 시그모이드로 생성되는 3D 어텐션 맵으로 도입한다.
• PA를 Self-Calibrated 컨볼루션 프레임워크에 내장하여 두 분기 구조의 SC-PA 블록을 형성한다.
• PA를 재구성/업샘플링 분기에 U-PA 블록(NN 업샘플링, 컨브, PA, 컨브)을 통해 적용한다.
• 세 모듈로 PAN 네트워크를 구성한다: 특징 추출, 비선형 매핑(적층된 SC-PA 블록), 재구성(U-PA 블록).
• LR 입력의 Bilinear 업샘플링과 함께 최종 SR 융합을 위한 전역 스킵 경로를 사용한다: I_SR = rec(x_n) + up(I_LR).
• L1 손실, Adam 옵티마이저, 코사인 어닐링 학습률 스케줄, 학습 데이터로 DIV2K/Flickr2K 사용 및 표준 5-벤치마크 평가를 사용한다.

실험 결과

연구 질문

• RQ1 약 272K의 최소 파라미터 예산으로 구성된 경량 SR 네트워크가 SRResNet이나 CARN과 같은 기존 경량 모델의 성능에 맞추거나 능가할 수 있는가?
• RQ2 PA가 작은 네트워크에서 SR에 대해 채널 주의나 공간 주의보다 더 효과적인 주의 메커니즘을 제공하는가?
• RQ3 PA를 주 SC 블록에 통합하는 것과 재구성 업샘플링 단계에 통합하는 것의 영향은 무엇인가?
• RQ4 제안된 PAN이 표준 SR 벤치마크 및 스케일링 팩터(×2, ×3, ×4)에 걸쳐 성능과 파라미터 수의 균형을 어떻게 맞추는가?

주요 결과

• PAN은 SRResNet(~1.37M) 및 CARN(~1.59M)에 비해 파라미터 수가 훨씬 적은 약 ~272K임에도 불구하고 경쟁력 있는 PSNR/SSIM을 달성한다.
• PA는 경량 네트워크의 차별적 연구에서 채널 주의 및 공간 주의에 대한 ablation에서 우수한 성능을 보인다.
• SC-PA(PA가 포함된 Self-Calibrated)가 RB-PA 대비 PSNR을 향상시키며, SC-PA는 비교적 적은 파라미터 비용으로 주목할 만한 이득을 제공한다.
• SC-PA와 U-PA 모두에서 PA의 도입이 SR 성능 향상에 기여하며 벤치마크 테스트에서 PSNR이 개선되었다.
• PA는 소형 모델에 특히 유리하며, 더 큰 네트워크에는 학습 전략과 중복성의 역할이 더 커질 수 있다.