[논문 리뷰] Multi-grained Attention Networks for Single Image Super-Resolution

Huapeng Wu, Zhengxia Zou외 6명|arXiv (Cornell University)|2019. 09. 26.

Advanced Image Processing Techniques참고 문헌 47인용 수 7

한 줄 요약

이 논문은 다중 해상도 특징 추출과 채널 및 공간 영역에서의 적응형 주의 메커니즘을 통합한 새로운 초해상도 프레임워크인 멀티그레인 주의 네트워크(MGAN)를 제안한다. 뉴런 중요도를 다중 그레인 방식으로 모델링하고 다중 해상도 밀집 연결을 활용함으로써 MGAN은 모델 크기를 유지하면서도 PSNR 및 SSIM 점수를 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep Convolutional Neural Networks (CNN) have drawn great attention in image super-resolution (SR). Recently, visual attention mechanism, which exploits both of the feature importance and contextual cues, has been introduced to image SR and proves to be effective to improve CNN-based SR performance. In this paper, we make a thorough investigation on the attention mechanisms in a SR model and shed light on how simple and effective improvements on these ideas improve the state-of-the-arts. We further propose a unified approach called "multi-grained attention networks (MGAN)" which fully exploits the advantages of multi-scale and attention mechanisms in SR tasks. In our method, the importance of each neuron is computed according to its surrounding regions in a multi-grained fashion and then is used to adaptively re-scale the feature responses. More importantly, the "channel attention" and "spatial attention" strategies in previous methods can be essentially considered as two special cases of our method. We also introduce multi-scale dense connections to extract the image features at multiple scales and capture the features of different layers through dense skip connections. Ablation studies on benchmark datasets demonstrate the effectiveness of our method. In comparison with other state-of-the-art SR methods, our method shows the superiority in terms of both accuracy and model size.

연구 동기 및 목표

• 기존 초해상도 네트워크에서의 주의 메커니즘의 한계를 조사하고 향상 기회를 규명한다.
• 채널 주의와 공간 주의를 특수한 경우로 일반화하는 통합 주의 메커니즘을 개발한다.
• 다중 해상도 특징 추출과 층 간 밀집 스위프트 연결을 조합하여 특징 표현을 향상시킨다.
• PSNR, SSIM 및 모델 효율성 측면에서 뛰어난 초해상도 성능을 달성한다.

제안 방법

• 다중 스케일에서 주변 영역을 기반으로 뉴런 중요도를 계산하는 다중 그레인 주의 메커니즘을 제안한다.
• 채널 주의와 공간 주의를 통합된 다중 그레인 주의 프레임워크의 특수한 경우로 통합한다.
• 다양한 층과 스케일의 특징을 융합하기 위해 다중 해상도 밀집 연결을 활용하여 특징 재사용 및 표현력을 향상시킨다.
• 사전 이중선형 보간 없이 엔드 투 엔드 업스케일링을 위해 서브픽셀 컨볼루션을 사용하여 계산 비용을 감소시킨다.
• 로컬 및 글로벌 맥락을 기반으로 학습 가능한 주의 가중치를 적용하여 특징 반응을 적응적으로 재조정한다.
• 멀티그레인 주의 모듈로 강화된 잔차 블록을 갖춘 깊은 잔차 신경망을 설계한다.

실험 결과

연구 질문

• RQ1 어떻게 주의 메커니즘을 일반화하여 초해상도에서 채널별 및 공간별 특징 중요도를 더 잘 포착할 수 있는가?
• RQ2 단일 채널 또는 공간 주의와 비교할 때 다중 그레인 주의가 성능 향상에 얼마나 기여하는가?
• RQ3 다중 해상도 밀집 연결이 초해상도 작업에서 특징 학습과 모델 성능을 향상시키는가?
• RQ4 제안된 MGAN 방법은 최신 기술 수준의 방법들과 비교해 정확도, 모델 크기, 추론 효율성 간의 더 나은 트레이드오���을 달성하는가?

주요 결과

• MGAN은 x3 스케일에서 Set5에서 PSNR 34.65 dB, SSIM 0.9292를 기록하여 비교된 모든 최신 기술 수준의 방법들을 능가한다.
• 향상된 MGAN+ 버전은 Set5에서 PSNR 34.75 dB, SSIM 0.9299를 기록하여 x3 벤치마크에서 새로운 최고 기록을 수립한다.
• 더 도전적인 Urban100 데이터셋에서 MGAN은 x3 스케일에서 PSNR 28.61 dB, SSIM 0.8621을 기록하며 이전 방법들을 능가한다.
• MGAN은 Set5, Set14, Bsd100, Urban100, Manga109 모든 데이터셋에서 일관된 향상을 보이며, MSRN 및 RDN 대비 최대 0.3 dB의 PSNR 향상을 기록한다.
• 제거 실험 결과 다중 그레인 주의와 다중 해상도 밀집 연결이 성능 향상에 필수적임을 확인한다.
• EDSR 및 MSRN과 같은 더 깊은 모델들과 비교해 더 작은 모델 크기를 유지함으로써 더 뛰어난 효율성을 보여준다.