[논문 리뷰] Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining

Yiqun Mei, Yuchen Fan외 4명|arXiv (Cornell University)|2020. 06. 02.

Advanced Image Processing Techniques참고 문헌 48인용 수 42

한 줄 요약

논문은 이미지 초해상도를 위해 고주파 세부 정보를 보존하는 교차 스케일 비지역 주의 메커니즘을 제안하며, 순진한 교차 스케일 및 동-scale 접근법보다 성능이 우수합니다. Set14 ×2에서 PSNR이 더 높고 Urban100 및 Manga109에서 질적 개선이 나타납니다.

ABSTRACT

Deep convolution-based single image super-resolution (SISR) networks embrace the benefits of learning from large-scale external image resources for local recovery, yet most existing works have ignored the long-range feature-wise similarities in natural images. Some recent works have successfully leveraged this intrinsic feature correlation by exploring non-local attention modules. However, none of the current deep models have studied another inherent property of images: cross-scale feature correlation. In this paper, we propose the first Cross-Scale Non-Local (CS-NL) attention module with integration into a recurrent neural network. By combining the new CS-NL prior with local and in-scale non-local priors in a powerful recurrent fusion cell, we can find more cross-scale feature correlations within a single low-resolution (LR) image. The performance of SISR is significantly improved by exhaustively integrating all possible priors. Extensive experiments demonstrate the effectiveness of the proposed CS-NL module by setting new state-of-the-arts on multiple SISR benchmarks.

연구 동기 및 목표

• 고주파 정보의 다운샘플링 없이 교차 스케일 자기-샘플을 활용하여 개선된 초해상도를 동기화한다.
• 고주파 특징을 유지하는 교차 스케일 비지역 주의 메커니즘을 도입한다.
• 순진한 교차 스케일 및 표준 동-scale 주의 방식에 비해 정량적 및 질적 개선을 보인다.

제안 방법

• 다운샘플링 없이 대상 스케일 특징을 연결하는 교차 스케일 비지역 주의 정의.
• 주의를 공간 위치의 비지역 합으로 스케일 인식 특징 쌍으로 형식화한다(Eq. 3).
• 순진한 교차 스케일 주의(Eq. 2) 및 동-scale 주의(Eq. 1)와 비교하여 고주파 세부 정보를 보존하는 이점을 입증한다.
• PSNR/시각 비교를 포함한 표준 SR 벤치마크(Set14, Urban100, Manga109)에서의 실험 결과를 제공한다.

실험 결과

연구 질문

• RQ1 고주파 정보를 보존하는 교차 스케일 비지역 주의가 순진한 교차 스케일 및 동-scale 접근보다 SR에서 우수한가?
• RQ2 제안된 CSNLN이 다양한 데이터세트에서 정량적 지표(예: PSNR)와 질적 세부 재구성에 어떤 영향을 미치는가?

주요 결과

• Cross-scale non-local attention (CSNLN) yields higher PSNR on Set14 ×2 (33.74) than naïve cross-scale (33.65) and in-scale (33.62).
• Naïve cross-scale attention provides negligible gains over in-scale attention, highlighting the importance of preserving high-frequency details.
• Qualitative results show finer reconstructed details on Urban100 and Manga109 compared to several state-of-the-art SR methods.
• CSNLN demonstrates improvements in reconstructing high-frequency structures due to maintaining high-resolution feature maps and self-exemplar hints.