[논문 리뷰] A Dynamic Residual Self-Attention Network for Lightweight Single Image Super-Resolution

Karam Park, Jae Woong Soh외 1명|arXiv (Cornell University)|2021. 12. 08.

Advanced Image Processing Techniques인용 수 7

한 줄 요약

이 논문은 입력 이미지 통계에 기반해 특징을 적응적으로 조합하는 동적 잔차 연결을 활용한 경량 단일 이미지 초해상도를 위한 동적 잔차 자기주의 네트워크(DRSAN)를 제안한다. 동적 잔차 주의(DRA)와 파rameter-free 잔차 자기주의(RSA) 모듈을 통해 성능을 향상시킨다. 이 방법은 최소한의 계산 비용으로 최신 기술 수준의 성능을 달성하며, 기존의 경량 모델보다 PSNR에서 최대 0.12 dB 높은 성능을 기록한다.

ABSTRACT

Deep learning methods have shown outstanding performance in many applications, including single-image super-resolution (SISR). With residual connection architecture, deeply stacked convolutional neural networks provide a substantial performance boost for SISR, but their huge parameters and computational loads are impractical for real-world applications. Thus, designing lightweight models with acceptable performance is one of the major tasks in current SISR research. The objective of lightweight network design is to balance a computational load and reconstruction performance. Most of the previous methods have manually designed complex and predefined fixed structures, which generally required a large number of experiments and lacked flexibility in the diversity of input image statistics. In this paper, we propose a dynamic residual self-attention network (DRSAN) for lightweight SISR, while focusing on the automated design of residual connections between building blocks. The proposed DRSAN has dynamic residual connections based on dynamic residual attention (DRA), which adaptively changes its structure according to input statistics. Specifically, we propose a dynamic residual module that explicitly models the DRA by finding the interrelation between residual paths and input image statistics, as well as assigning proper weights to each residual path. We also propose a residual self-attention (RSA) module to further boost the performance, which produces 3-dimensional attention maps without additional parameters by cooperating with residual structures. The proposed dynamic scheme, exploiting the combination of DRA and RSA, shows an efficient trade-off between computational complexity and network performance. Experimental results show that the DRSAN performs better than or comparable to existing state-of-the-art lightweight models for SISR.

연구 동기 및 목표

• 경량 단일 이미지 초해상도(SISR) 모델에서 계산 효율성과 재구성 성능를 균형 잡는 문제를 해결하기 위해.
• 다양한 입력 이미지 통계에 적응할 수 없는 고정 구조의 잔차 네트워크의 한계를 극복하기 위해.
• 입력 콘텐츠에 기반해 특징 융합 가중치를 자동으로 조정하는 동적 잔차 연결 메커니즘을 설계하기 위해.
• 모델 복잡도를 증가시키지 않고도 특징 표현을 향상시키는 파rameter-free 주의 메커니즘을 개발하기 위해.
• 최소한의 파라미터와 FLOPs로 경량 SISR에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 입력 이미지 통계에 기반해 잔차 경로의 적응형 융합 가중치를 학습하는 동적 잔차 주의(DRA) 모듈을 제안한다.
• 추가 파라미터 없이 잔차 연결을 사용해 3차원 주의 맵을 생성하는 잔차 자기주의(RSA) 모듈을 도입한다.
• 학습 가능한 파ram터와 활성화 함수(Tanh 또는 없음)를 갖춘 동적 잔차 게이트(DRG)를 사용해 잔차 특징을 동적으로 스케일링하고 재보정한다.
• 두 개의 잔차 그룹을 포함한 경량 네트워크 아키텍처를 활용하여 DRA와 RSA를 통합해 효율적인 특징 정련을 수행한다.
• Sigmoid 활성화 함수를 피하기 위해 DRG에서 학습 가능한 스케일링 메커니즘을 사용해 특징 다양성을 유지하고 성능을 향상시킨다.
• DRA와 RSA를 동적 잔차 블록에 통합해 콘텐츠 인식 특징 융합과 향상된 표현 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 입력 통계에 적응하는 동적 잔차 연결이 모델 복잡도를 증가시키지 않으면서도 경량 SISR 성능을 향상시킬 수 있는가?
• RQ2 잔차 구조에 기반한 파라미터 없는 자기주의 메커니즘이 경량 네트워크에서 특징 표현을 어떻게 향상시키는가?
• RQ3 활성화 함수 선택(예: sigmoid 대비 tanh 또는 없음)이 SISR에서 동적 잔차 게이팅 성능에 어떤 영향을 미치는가?
• RQ4 기존의 주의 메커니즘인 채널(CA), 공간(SA), 픽셀(PA) 주의와 비교해 제안된 동적 잔차 자기주의(DRSA)는 정확성과 효율성 측면에서 어떻게 성능을 냈는가?
• RQ5 제안된 동적 잔차 및 주의 메커니즘은 이미지 복원 작업에서 다른 경량 CNN 아키텍처로 일반화될 수 있는가?

주요 결과

• 제안된 DRSAN은 Urban100 데이터셋(×2)에서 PSNR 32.18 dB를 기록하여 기준 모델보다 0.12 dB 높은 성능을 달성했으며, 기존의 경량 모델을 초월한다.
• RSA 모듈은 추가 파라미터 없이도 성능을 0.12 dB 향상시켜 효율성과 효과성을 입증한다.
• DRG에서 하이퍼볼릭 탄젠트 또는 활성화 함수 없이 사용할 경우, Sigmoid를 사용하는 것보다 더 우수한 성능을 기록한다. 이는 후자가 특징 다양성을 제한하기 때문이다.
• DRSA 모듈은 단지 2K의 파라미터 증가로 기준 모델 대비 0.12 dB의 PSNR 향상을 기록했으며, 정확성과 효율성 측면에서 CA, SA, PA를 모두 능가한다.
• 제거 실험을 통해 단순히 모든 잔차 특징을 연결하는 것은 성능을 떨어뜨린다는 점을 확인했으며, 이는 DRA를 통한 적응형 가중치 조정의 필요성을 입증한다.
• Set5, Set14, BSDS100, Urban100 등 다양한 벤치마크에서 강력한 성능을 유지해 우수한 강건성과 일반화 능력을 입증한다.