[논문 리뷰] Lightweight Single-Image Super-Resolution Network with Attentive Auxiliary Feature Learning

Xuehui Wang, Qing Wang외 4명|arXiv (Cornell University)|2020. 11. 13.

Advanced Image Processing Techniques참고 문헌 48인용 수 14

한 줄 요약

이 논문은 이전 레이어의 주의적 보조 특징(A2F)을 통해 특징 학습을 향상시키는 경량 단일 이미지 초해상도 네트워크인 A2F-SR을 제안한다. 특징을 공통 공간으로 투영하고 채널 주의를 적용하여 여분의 정보를 걸러내어, 320만 이하의 파라미터로 최신 기술 수준의 성능을 달성하며, 모든 스케일에서 PSNR 및 SSIM 측면에서 기존 방법들을 능가한다.

ABSTRACT

Despite convolutional network-based methods have boosted the performance of single image super-resolution (SISR), the huge computation costs restrict their practical applicability. In this paper, we develop a computation efficient yet accurate network based on the proposed attentive auxiliary features (A$^2$F) for SISR. Firstly, to explore the features from the bottom layers, the auxiliary feature from all the previous layers are projected into a common space. Then, to better utilize these projected auxiliary features and filter the redundant information, the channel attention is employed to select the most important common feature based on current layer feature. We incorporate these two modules into a block and implement it with a lightweight network. Experimental results on large-scale dataset demonstrate the effectiveness of the proposed model against the state-of-the-art (SOTA) SR methods. Notably, when parameters are less than 320k, A$^2$F outperforms SOTA methods for all scales, which proves its ability to better utilize the auxiliary features. Codes are available at https://github.com/wxxxxxxh/A2F-SR.

연구 동기 및 목표

• 모바일 디바이스와 같은 자원 제약 환경에서 딥 컨volution 네트워크 기반 초해상도 모델의 높은 계산 비용을 해결하기 위해.
• 다양한 이전 레이어의 특징을 효과적으로 활용하여 경량 SISR 네트워크의 성능을 향상시키기 위해.
• 대규모 모델이나 복잡한 압축 기법에 의존하지 않고도 높은 정확도를 유지하는 파라미터 효율적인 아키텍처를 설계하기 위해.
• 모든 이전 레이어의 보조 특징이 주의 메커니즘을 통해 적절히 융합될 경우, 경량 환경에서도 성능 향상에 크게 기여할 수 있음을 입증하기 위해.

제안 방법

• 모든 이전 레이어의 특징을 1×1 컨볼루션을 사용해 공통 특징 공간으로 투영하는 주의적 보조 특징(A2F) 블록을 제안한다.
• 현재 레이어의 특징 맵을 기반으로, 투영된 보조 특징의 각 채널의 중요도를 동적으로 가중하기 위해 채널 주의를 적용한다.
• 다중 스케일에서 효율적인 특징 정련을 가능하게 하기 위해 A2F 블록을 경량 잔차 네트워크 아키텍처에 통합한다.
• 특징을 고해상도 출력으로 업샘플링하기 위해 픽셀 셰플을 사용한다.
• 학습 안정성과 깊은 네트워크에서의 특징 학습 향상을 위해 잔차 연결을 갖춘 점진적 블록 설계를 채택한다.
• 재구성된 이미지의 픽셀 수준 및 구조적 정밀도를 향상시키기 위해 L1 손실과 인지적 손실을 최적화에 활용한다.

실험 결과

연구 질문

• RQ1 모든 이전 레이어의 보조 특징이 경량 SISR 네트워크에서 효과적으로 활용될 수 있는가?
• RQ2 투영된 보조 특징에 채널 주의를 적용할 경우, 표준 스킵 커넥션에 비해 더 나은 특징 선택과 개선된 재구성 품질을 이룰 수 있는가?
• RQ3 320만 파라미터 이하의 경량 네트워크가 여러 배율 요소에서 기존 최신 기술 수준(SOTA) 방법보다 PSNR 및 SSIM 측면에서 뛰어난 성능을 낼 수 있는가?
• RQ4 파라미터 효율성과 성능 측면에서 제안된 A2F 블록은 다른 특징 융합 기법과 비교해 어떻게 성과를 내는가?

주요 결과

• 320만 이하의 파라미터로 A2F-SR는 ×2 스케일에서 Manga109 데이터셋에서 34.23 dB의 PSNR를 기록하여, 이 파라미터 범위 내에서 모든 SOTA 방법을 능가한다.
• ×4 스케일에서 A2F-SR는 137만 파라미터로 32.32 dB의 PSNR를 기록하며, AWSRN 및 CARN과 같은 SOTA 모델보다도 더 높은 PSNR 및 SSIM 성능을 달성하면서도 더 적은 파라미터를 사용한다.
• 제거 실험을 통해 특징 투영과 채널 주의 구성 요소가 모두 필수적임을 확인하였으며, 전체 A2F 블록이 성능 향상에 크게 기여한다.
• 기본 모델인 FSRCNN과 SRCNN에 비해 ×2 스케일에서 PSNR가 3.5 dB 향상되었으며, 파라미터 수와 추론 비용은 낮게 유지하였다.
• A2F-L 버전은 137만 파라미터로 ×2 스케일에서 34.54 dB의 PSNR를 기록하여, 더 높은 복잡도 수준에서도 뛰어난 성능을 보였다.
• 모델 크기와 성능 간의 최적 균형을 달성하였으며, 특히 100만 파라미터 이하 범위에서 뛰어난 효율성과 확장성을 입증하였다.