[논문 리뷰] Incorporating Transformer Designs into Convolutions for Lightweight Image Super-Resolution

Gang Wu, Junjun Jiang외 2명|arXiv (Cornell University)|2023. 03. 25.

Advanced Image Processing Techniques인용 수 7

한 줄 요약

이 논문은 표준 컨볼루션에서 큰 커널을 대체하여 장거리 의존성을 효율적으로 캡처하고 파rameter와 FLOPs를 감소시키는 데 Neighborhood Attention (NA) 모듈을 통합한 경량 단일 이미지 슈퍼레졸루션 네트워크인 TCSR를 제안한다. NA를 공간 이동 연산을 사용한 향상된 피드포워드 네트워크( EFFN)와 결합함으로써 TCSR는 경량 SISR 벤치마크에서 최신 기술 성능(SOTA)을 달성하면서도 낮은 계산 비용을 유지한다.

ABSTRACT

In recent years, the use of large convolutional kernels has become popular in designing convolutional neural networks due to their ability to capture long-range dependencies and provide large receptive fields. However, the increase in kernel size also leads to a quadratic growth in the number of parameters, resulting in heavy computation and memory requirements. To address this challenge, we propose a neighborhood attention (NA) module that upgrades the standard convolution with a self-attention mechanism. The NA module efficiently extracts long-range dependencies in a sliding window pattern, thereby achieving similar performance to large convolutional kernels but with fewer parameters. Building upon the NA module, we propose a lightweight single image super-resolution (SISR) network named TCSR. Additionally, we introduce an enhanced feed-forward network (EFFN) in TCSR to improve the SISR performance. EFFN employs a parameter-free spatial-shift operation for efficient feature aggregation. Our extensive experiments and ablation studies demonstrate that TCSR outperforms existing lightweight SISR methods and achieves state-of-the-art performance. Our codes are available at \url{https://github.com/Aitical/TCSR}.

연구 동기 및 목표

• 경량 SISR 모델에서 큰 컨볼루션 커널로 인한 높은 계산 비용과 파rameter 증가 문제를 해결하기 위해.
• 모델 복잡도를 증가시키지 않고도 장거리 의존성을 효율적으로 캡처할 수 있는 파rameter 효율적인 메커니즘을 설계하기 위해.
• 더 나은 슈퍼레졸루션 성능을 위해 피드포워드 네트워크 내 국소 특징 집합을 향상시키기 위해.
• 최소한의 FLOPs와 파rameter로 경량 이미지 슈퍼레졸루션에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 표준 컨볼루션을 대체하기 위해 슬라이딩 윈도우 내에서 자기주의력을 적용하는 이웃 주의력(NA) 모듈을 제안하여 파arameter 수를 커널 크기와 분리한다.
• 슬라이딩 윈도우 패턴을 사용해 장거리 의존성을 효율적으로 추출함으로써 큰 커널에서 발생하는 파arameter 수의 제곱 증가를 방지한다.
• 파arameter를 사용하지 않는 공간 이동 연산을 적용해 효과적인 국소 특징 집합을 수행하는 향상된 피드포워드 네트워크( EFFN)를 도입한다.
• 얕은 특징 추출 모듈과 이를 반복적으로 적용한 NA 블록에 EFFN을 결합해 깊은 특징 학습을 수행한다.
• 고해상도 복원을 위해 3×3 컨볼루션과 pixelshuffle을 사용하여 효율성을 유지한다.
• 큰 커널 크기를 지원하면서도 모델의 간소함을 유지할 수 있도록 확장 가능한 경량 아키텍처로 TCSR를 설계한다.

Figure 1 : Illustration of the feature extraction. (a) Local pixels are projected and summed as the target output. (b) Neighboring pixels are projected and assembled by the self-attention mechanism.

실험 결과

연구 질문

• RQ1 자기주의력 메커니즘이 큰 커널을 대체하면서도 파arameter와 FLOPs를 줄이며 효율적으로 컨볼루션 레이어에 통합될 수 있는가?
• RQ2 제안된 이웃 주의력(NA) 모듈이 장거리 의존성을 모델링하는 데 있어 표준 큰 커널과 비교해 어떻게 성능을 내는가?
• RQ3 공간 이동 연산을 사용한 향상된 피드포워드 네트워크( EFFN)가 경량 SISR에서 국소 특징 집합에 얼마나 기여하는가?
• RQ4 TCSR 아키텍처는 엣지 배포에 적합한 계산 비용 효율성을 유지하면서도 최신 기술 성능을 달성할 수 있는가?
• RQ5 TCSR 모델은 다양한 커널 크기와 모델 깊이에서 얼마나 확장 가능한가?

주요 결과

• TCSR는 Manga109 ×4 벤치마크에서 1.03M 파arameter로 29.43 dB의 PSNR를 기록하여 기존의 경량 SISR 모델을 능가한다.
• 제안된 TCSR-B 버전은 880K 파arameter와 52 GFLOPs로 29.30 dB의 PSNR를 달성하며, SwinIR-light 대비 지연 시간을 크게 줄였다(297ms 대비 52ms).
• EFFN 모듈은 SwinIR-light와 TCSR 양쪽 모두에서 성능 향상을 이끌었으며, 시각화 결과에서 더 큰 활성화된 수용영역이 관찰되어 장거리 모델링 향상이 확인되었다.
• 절단 실험 결과에서 커널 크기를 늘릴수록 성능 향상이 이루어지는 것으로 나타나, TCSR가 다양한 수용영역 크기에서 확장 가능한 것으로 입증되었다.
• NA 모듈은 표준 큰 컨볼루션보다 훨씬 적은 파arameter와 FLOPs로 큰 커널과 유사한 모델링 성능를 달성하면서도 더 높은 효율성을 확보했다.

Figure 2 : PSNR vs. Parameters . Comparisons with representative lightweight SISR models on Manga109 ( $\times 4$ ) test dataset.