[논문 리뷰] Multi-Attention Based Ultra Lightweight Image Super-Resolution

Abdul Muqeet, Jiwon Hwang외 4명|arXiv (Cornell University)|2020. 08. 29.

Advanced Image Processing Techniques참고 문헌 51인용 수 10

한 줄 요약

이 논문은 최소한의 계산 비용으로 최신 기술 수준 성능을 달성하는 다중 주의 기반 초경량 초해상도 네트워크인 MAFFSRN을 제안한다. 다중 주의 블록(MAB)과 비용 효율적인 주의 메커니즘(CEA), 수정된 이진화 특징 융합(BFF) 구조를 통합함으로써 MAFFSRN은 FLOPs, 파라미터 수, 메모리 사용량을 감소시키면서도 기존의 경량 모델보다 벤치마크 데이터셋에서 뛰어난 성능을 보이며, 메모리 효율성에서 AIM 2020 효율적 초해상도 챌린지에서 1등을 차지했다.

ABSTRACT

Lightweight image super-resolution (SR) networks have the utmost significance for real-world applications. There are several deep learning based SR methods with remarkable performance, but their memory and computational cost are hindrances in practical usage. To tackle this problem, we propose a Multi-Attentive Feature Fusion Super-Resolution Network (MAFFSRN). MAFFSRN consists of proposed feature fusion groups (FFGs) that serve as a feature extraction block. Each FFG contains a stack of proposed multi-attention blocks (MAB) that are combined in a novel feature fusion structure. Further, the MAB with a cost-efficient attention mechanism (CEA) helps us to refine and extract the features using multiple attention mechanisms. The comprehensive experiments show the superiority of our model over the existing state-of-the-art. We participated in AIM 2020 efficient SR challenge with our MAFFSRN model and won 1st, 3rd, and 4th places in memory usage, floating-point operations (FLOPs) and number of parameters, respectively.

연구 동기 및 목표

• 제한된 계산 자원 환경에서 실세계에 적합한 경량 초해상도 네트워크를 개발하기 위해.
• 깊이 있는 초해상도 네트워크에서의 특징 퇴화 문제를 주의 메커니즘을 통한 특징 추출 및 융합 강화로 해결하기 위해.
• 성능을 훼손하지 않으면서도 FLOPs, 메모리 사용량, 모델 파라미터 수를 최소화하기 위해.
• 정량적 지표와 실세계 효율성 벤치마크에서 기존의 경량 모델을 능가하기 위해.
• 체계적인 추상화 연구와 AIM 2020 효율적 초해상도 챌린지 참가를 통해 제안된 아키텍처의 효과성을 검증하기 위해.

제안 방법

• 특징 융합 그룹(FFG)을 중심으로 네트워크 아키텍처가 구성되며, 각 FFG는 향상된 특징 표현을 위한 스택된 다중 주의 블록(MAB)을 포함한다.
• 각 MAB는 입력 특징에 직접 주의를 적용하는 비용 효율적인 주의 메커니즘(CEA)을 활용하여 계산 오버헤드를 감소시킨다.
• 특징 융합 구조는 추상화 연구에서 향상된 성능을 보인 수정된 이진화 특징 융합(BFF) 방식을 사용한다.
• 수축 컨볼루션은 수신장 감도를 증가시키기 위해 표준 컨볼루션 그룹 대신 ESA 블록에 사용된다.
• 잔차 스케일 연결을 통해 업샘플된 저해상도 이미지를 최종 출력에 추가함으로써 재구성 정밀도를 향상시킨다.
• 질감 세부 정보와 구조 정확도를 균형 있게 유지하기 위해 인지 손실과 L1 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 경량 초해상도 네트워크가 FLOPs와 메모리 사용량을 크게 줄였음에도 불구하고 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 다중 주의 블록(MAB)에 다중 주의 메커니즘이 통합될 경우 깊이 있는 초해상도 네트워크에서 특징 표현이 어떻게 향상되는가?
• RQ3 제안된 비용 효율적인 주의(CEA) 메커니즘은 표준 주의 모듈과 비교해 성능을 유지하면서도 계산 비용을 줄일 수 있는가?
• RQ4 수정된 이진화 특징 융합(BFF) 구조는 계층적 특징 융합(HFF)과 비교해 성능 및 효율성 측면에서 어떻게 다른가?
• RQ5 제안된 아키텍처는 AIM 2020 효율적 초해상도 챌린지와 같은 실세계 배포 시나리오에서 기존의 경량 모델을 능가할 수 있는가?

주요 결과

• AIM 2020 효율적 초해상도 챌린지에서 메모리 소비 기준 1위, FLOPs 기준 3위, 파라미터 수 기준 4위를 기록했으며, 모든 경쟁자보다 효율성 지표에서 뛰어난 성능을 보였다.
• ×4 스케일링에서 Set5 데이터셋에서 MAFFSRN은 PSNR 30.73 dB, SSIM 0.9153을 기록했으며, 이는 이전의 모든 경량 모델을 능가하는 성능이다.
• ×2 스케일링에서 B100 데이터셋에서 MAFFSRN은 PSNR 30.58 dB, SSIM 0.9185를 달성했으며, CARN과 SRMDNF보다 더 적은 파라미터를 사용하면서도 성능을 초월했다.
• ×4 스케일링에서 Urban100 데이터셋에서 MAFFSRN은 PSNR 23.13 dB, SSIM 0.5870을 기록했으며, 다양한 이미지 분포에 대한 강력한 일반화 능력을 보였다.
• 추상화 연구 결과, 수정된 BFF 구조와 CEA 블록이 성능 향상에 각각 기여했으며, BFF는 특징 융합 효율성에서 HFF를 능가했다.
• 높은 깊이를 지녔음에도 불구하고 MAFFSRN은 DIV2K 검증 세트에서 이미지당 0.104초의 런타임을 기록하여 깊이와 추론 속도 사이의 균형을 잘 유지하고 있음을 보여주었다.