[논문 리뷰] MAANet: Multi-view Aware Attention Networks for Image Super-Resolution

Jingcai Guo, Shiheng Ma외 1명|arXiv (Cornell University)|2019. 04. 12.

Advanced Image Processing Techniques참고 문헌 32인용 수 5

한 줄 요약

이 논문은 저해상도 특징에 국소적 및 전역적 주의 메커니즘을 적용하여 고주파 성분 복원을 향상시키는 다중 시점 인지 주의망(MAANet)을 제안한다. 국소 인지(LA) 및 전역 인지(GA) 주의를 새로운 국소 주의 잔차-밀도(LARD) 블록과 통합함으로써, MAANet는 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 4× 초해상도에서 PSNR 및 SSIM 측면에서 뚜렷한 향상을 보인다.

ABSTRACT

In most recent years, deep convolutional neural networks (DCNNs) based image super-resolution (SR) has gained increasing attention in multimedia and computer vision communities, focusing on restoring the high-resolution (HR) image from a low-resolution (LR) image. However, one nonnegligible flaw of DCNNs based methods is that most of them are not able to restore high-resolution images containing sufficient high-frequency information from low-resolution images with low-frequency information redundancy. Worse still, as the depth of DCNNs increases, the training easily encounters the problem of vanishing gradients, which makes the training more difficult. These problems hinder the effectiveness of DCNNs in image SR task. To solve these problems, we propose the Multi-view Aware Attention Networks (MAANet) for image SR task. Specifically, we propose the local aware (LA) and global aware (GA) attention to deal with LR features in unequal manners, which can highlight the high-frequency components and discriminate each feature from LR images in the local and the global views, respectively. Furthermore, we propose the local attentive residual-dense (LARD) block, which combines the LA attention with multiple residual and dense connections, to fit a deeper yet easy to train architecture. The experimental results show that our proposed approach can achieve remarkable performance compared with other state-of-the-art methods.

연구 동기 및 목표

• 저주파 성분의 중복이 있는 저해상도(LR) 이미지에서 고주파 성분 복원에 한계를 가진 깊은 합성곱 신경망(DCNNs)의 문제를 해결한다.
• 이미지 초해상도를 위한 학습 가능한 더 깊은 아키텍처를 설계하여 깊은 네트워크에서의 기울기 소실 문제를 극복한다.
• 국소 및 전역 맥락에서의 특징 구별 능력을 향상시켜 고해상도 이미지 복원을 개선한다.
• 저비용이지만 효과적인 주의 메커니즘을 개발하여 저해상도 입력의 국소 및 전역 특징 표현에 대해 다르게 적응하도록 한다.

제안 방법

• 각 특징 맵 내 고주파 성분을 강조하기 위해 공간적으로 적응 가능한 가중치를 학습하는 국소 인지(LA) 주의를 제안한다.
• 채널 차원을 따라 전체 특징 맵을 재가중하여 전역 맥락에서 정보가 풍부한 특징을 강조하는 전역 인지(GA) 주의를 도입한다.
• LA 주의를 다중 잔차 및 밀도 연결과 통합하여 학습 안정성과 더 깊은 네트워크 깊이를 가능하게 하는 국소 주의 잔차-밀도(LARD) 블록을 설계한다.
• 스택된 아키텍처에 LARD 블록을 적용하여 저해상도 입력으로부터 점진적으로 특징을 추출하고 정제한다.
• 학습 가능한 업샘플링 모듈을 사용하여 고해상도 특징 맵을 생성한 후, 최종 고해상도 출력을 생성하기 위해 복원 헤드를 적용한다.
• YCbCr 변환된 이미지의 Y 채널에서 L1 손실을 사용하여 시각적 정확도와 정량적 정확도를 최적화한다.

실험 결과

연구 질문

• RQ1 국소 및 전역 주의 메커니즘이 초해상도 과정에서 저해상도 이미지의 고주파 성분 복원에 기여하는가?
• RQ2 잔차 및 밀도 연결과의 주의 통합이 깊은 초해상도 네트워크에서 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ3 제안된 MAANet 아키텍처가 정량적 지표(PSNR/SSIM)와 정성적 시각적 품질 측면에서 기존 최신 기술 수준 방법을 초월하는가?
• RQ4 2×에서 4× 초해상도로 확장할 때 모델이 다중 시점 주의로부터 얼마나 많은 이점을 얻는가?
• RQ5 LARD 블록은 기울기 소실이나 학습 불안정성 없이 더 깊은 네트워크 아키텍처를 가능하게 하는가?

주요 결과

• MAANet는 Set5, Set14, Urban100, Manga109, DIV2K의 다섯 개의 벤치마크 데이터셋에서 2× 및 4× 초해상도 모두에서 최신 기술 수준 성능을 달성한다.
• 4× 초해상도에서 MAANet는 Set5에서 PSNR 32.87 dB, Urban100에서 29.35 dB를 기록하여 RDN 및 DBPN과 같은 이전 SOTA 방법을 능가한다.
• 특히 Manga109의 복잡한 무늬와 미세한 구조(예: 줄무늬, 선)에서 SSIM 측면에서 뚜렷한 향상을 보였다.
• 시각적 비교 결과, MAANet는 더 선명한 윤곽선과 더 잘 보존된 세부 정보를 생성하였으며, 특히 작은 무늬나 평행선과 같은 도전적인 영역에서 뛰어난 성능을 보였다.
• 제거 분석 결과, LA 및 GA 주의 모두 성능 향상에 독립적으로 기여하며, LARD 블록이 더 깊고 안정적인 학습을 가능하게 함을 확인하였다.
• 자연 풍경, 얼굴, 선도 등 다양한 이미지 유형에서 뛰어난 일반화 능력을 유지하여 강력한 일반화 성능을 입증하였다.