[논문 리뷰] Swift Parameter-free Attention Network for Efficient Super-Resolution

Cheng Wan, Hongyuan Yu외 6명|arXiv (Cornell University)|2023. 11. 21.

Advanced Image Processing Techniques인용 수 7

한 줄 요약

SPAN은 대칭 활성화 및 잔차로 구성된 매개변수 없는 주의 메커니즘을 도입하여 SISR에서 고주파 디테일을 강화하면서 매개변수 수를 낮게 유지하고 추론 속도를 빠르게 한다.

ABSTRACT

Single Image Super-Resolution (SISR) is a crucial task in low-level computer vision, aiming to reconstruct high-resolution images from low-resolution counterparts. Conventional attention mechanisms have significantly improved SISR performance but often result in complex network structures and large number of parameters, leading to slow inference speed and large model size. To address this issue, we propose the Swift Parameter-free Attention Network (SPAN), a highly efficient SISR model that balances parameter count, inference speed, and image quality. SPAN employs a novel parameter-free attention mechanism, which leverages symmetric activation functions and residual connections to enhance high-contribution information and suppress redundant information. Our theoretical analysis demonstrates the effectiveness of this design in achieving the attention mechanism's purpose. We evaluate SPAN on multiple benchmarks, showing that it outperforms existing efficient super-resolution models in terms of both image quality and inference speed, achieving a significant quality-speed trade-off. This makes SPAN highly suitable for real-world applications, particularly in resource-constrained scenarios. Notably, we won the first place both in the overall performance track and runtime track of the NTIRE 2024 efficient super-resolution challenge. Our code and models are made publicly available at https://github.com/hongyuanyu/SPAN.

연구 동기 및 목표

• 정확도와 추론 속도 사이의 균형을 맞춘 빠르고 경량의 SR 모델에 대한 필요성 제시.
• 모델 복잡성을 줄이기 위한 매개변수 없는 주의 메커니즘 제안.
• 정보를 보존하기 위해 대칭 활성화 및 잔차를 이용한 주의 메커니즘으로 SPAN 개발.
• 표준 벤치마크에서 기존의 효율적인 SR 모델과의 효과 비교를 통해 SPAN의 유효성 시연.

제안 방법

• 세 3x3 컨볼루션과 잔차 경로를 사용하는 SPAB (Swift Parameter-free Attention Block) 도입.
• 학습 가능한 매개변수 없이 대칭 원점 중심 활성화를 사용하여 컨볼루션 출력으로부터 주의 맵 직접 계산.
• 특징과 주의 정보를 원소별 곱으로 융합하여 SPAB 출력을 산출.
• 여섯 개의 SPAB를 SPAN으로 구성하고 특징 연결 및 PixelShuffle 업샘플링 적용.
• 추론 효율 최적화를 위한 재매개화 적용 및 표준 벤치마크에서 PSNR/SSIM 보고.

실험 결과

연구 질문

• RQ1 매개변수 없는 주의 메커니즘이 모델 크기를 늘리지 않고 SR 성능을 향상시킬 수 있는가?
• RQ2 대칭 원점 중심 활성화가 SR에서 주의 효과에 어떤 영향을 미치는가?
• RQ3 SPAN과 기존 ESR 모델 대비 속도와 정확도 간의 트레이드오프는 어떠한가?
• RQ4 매개변수 없는 주의 사용 시 잔차 연결이 정보 흐름을 안정시키고 디테일을 보존하는가?

주요 결과

• SPAN은 Set5, Set14, BSD100, Urban100, Manga109에서 경쟁력 있는 PSNR/SSIM을 달성하면서 매개변수 수를 낮게 유지한다.
• SPAN 및 SPAN-S는 비슷한 성능의 많은 ESR 모델보다 더 빠른 추론 속도를 보인다.
• NTIRE 2023 효율 SR 챌린지에서 27.09 dB의 최상 PSNR과 7.08 ms 런타임 감소를 달성했다.
• 잔차 연결과 매개변수 없는 주의가 변형 버전보다 품질과 속도를 개선하는지에 대한 차단 연구에서도 확인되었다.