[논문 리뷰] Efficient Image Super-Resolution using Vast-Receptive-Field Attention

Lin Zhou, Haoming Cai외 6명|arXiv (Cornell University)|2022. 10. 12.

Advanced Image Processing Techniques인용 수 8

한 줄 요약

이 논문은 광범위한 수용장치를 가진 주의 메커니즘을 통해 성능을 향상시키는 경량 이미지 초해상도 네트워크인 VapSR를 제안한다. 큰 커널 컨볼루션, 디pth와이즈 분리형 컨볼루션, 그리고 새로운 픽셀 정규화 레이어를 통합함으로써 VapSR는 매개변수 수를 크게 줄이며도 상태의 기술(SOTA) 성능을 달성한다. IMDB와 RFDN에 비해 각각 21.68%와 28.18%의 매개변수만을 사용하면서도 동일한 성능을 달성한다.

ABSTRACT

The attention mechanism plays a pivotal role in designing advanced super-resolution (SR) networks. In this work, we design an efficient SR network by improving the attention mechanism. We start from a simple pixel attention module and gradually modify it to achieve better super-resolution performance with reduced parameters. The specific approaches include: (1) increasing the receptive field of the attention branch, (2) replacing large dense convolution kernels with depth-wise separable convolutions, and (3) introducing pixel normalization. These approaches paint a clear evolutionary roadmap for the design of attention mechanisms. Based on these observations, we propose VapSR, the VAst-receptive-field Pixel attention network. Experiments demonstrate the superior performance of VapSR. VapSR outperforms the present lightweight networks with even fewer parameters. And the light version of VapSR can use only 21.68% and 28.18% parameters of IMDB and RFDN to achieve similar performances to those networks. The code and models are available at https://github.com/zhoumumu/VapSR.

연구 동기 및 목표

• 매개변수를 줄이면서도 성능을 유지하거나 향상시키는 효율적인 초해상도 네트워크 설계.
• 경량 컨볼루션 초해상도 네트워크에서 주의 메커니즘의 광범위한 수용장치의 효과 탐구.
• 주의 브랜치에서 큰 밀도형 컨볼루션을 디프트와이즈 분리형 컨볼루션으로 대체하여 모델 복잡도 감소.
• 새로운 픽셀 정규화 기법을 통해 경량 초해상도 네트워크의 학습 안정화.
• 효율적인 초해상도 네트워크에서 주의 메커니즘의 진화를 위한 명확하고 단계적인 설계 로드맵 수립.

제안 방법

• 주의 브랜치에서 작은 커널을 더 큰 커널로 교체하여 광범위한 수용장치를 가진 주의 메커니즘 도입으로 장거리 상관관계를 포착.
• 백본에서 표준 3×3 컨볼루션을 1×1 컨볼루션으로 교체하여 매개변수 수 감소.
• 큰 커널 연산을 효율적으로 구현하기 위해 디프트와이즈 및 디프트와이즈 확장형 컨볼루션 사용으로 계산 비용 감소.
• 특히 높은 학습률에서의 학습 붕괴를 방지하기 위해 학습 안정화를 위한 새로운 픽셀 정규화 레이어 제안.
• 최적의 성능을 위해 순차적으로 1×1 포인트와이즈 컨볼루션, 5×5 디프트와이즈 컨볼루션, 7×7 디프트와이즈 확장형 컨볼루션을 포함한 주의 모듈 구조화.
• 성능와 매개변수 효율성의 균형을 맞추기 위해 커널 크기(5, 9, 11)와 블록 수를 실험하여 수용장치 크기 최적화.

실험 결과

연구 질문

• RQ1 주의 브랜치의 수용장치 크기를 증가시키면 경량 네트워크에서 초해상도 성능 향상에 기여하는가?
• RQ2 큰 밀도형 컨볼루션을 디프트와이즈 분리형 컨볼루션으로 대체할 경우 모델의 효율성과 성능에 어떤 영향을 미치는가?
• RQ3 광범위한 수용장치를 가진 경량 초해상도 네트워크의 안정적 학습을 가능하게 하는 정규화 전략은 무엇인가?
• RQ4 주의 모듈 내 연산 순서(예: 포인트와이즈 이후 디프트와이즈)가 성능과 수렴에 영향을 미치는가?
• RQ5 효율적인 초해상도 네트워크에서 수용장치 크기와 모델 복잡도 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• VapSR는 매개변수 수가 185K개 적은데도 불구하고 NTIRE2022 경량 초해상도 경쟁 대회 수상자보다 PSNR에서 0.1 dB 이상 높은 성능 달성.
• VapSR의 경량 버전은 IMDB와 RFDN에 비해 각각 21.68%와 28.18%의 매개변수만을 사용하면서도 동일한 성능 확보.
• 제안된 픽셀 정규화는 학습 안정성을 향상시키며, 수렴성과 최종 성능 모두에서 배치, 인스턴스, 그룹 정규화를 능가.
• 디프트와이즈 컨볼루션 레이어에서 5×5 커널 사용이 가장 뛰어난 성능을 보였고, 더 큰 커널(9×9 및 11×11)은 성능 저하 유도.
• 주의 모듈 내에서 1×1 → 5×5 → 7×7 디프트와이즈 컨볼루션 순서가 다른 순서보다 뛰어난 성능 확보.
• 절단 분석 결과, 큰 커널을 통해 수용장치를 증가시키면 성능 향상이 이루어지며, 디프트와이즈 분리형 컨볼루션은 정확도 손실 없이 매개변수를 효과적으로 감소시킴을 확인.