[논문 리뷰] MASA-SR: Matching Acceleration and Spatial Adaptation for Reference-Based Image Super-Resolution

Liying Lu, Wenbo Li외 3명|arXiv (Cornell University)|2021. 06. 04.

Advanced Image Processing Techniques참고 문헌 32인용 수 9

한 줄 요약

MASA-SR는 근거 기반 이미지 초해상도 네트워크를 제안하며, 국소화된 근거 블록에 제한된 검색 공간을 통해 군집에서 세분화하는 대응 매칭 기반으로 계산 비용을 감소시키고, 공간적으로 적응적인 특징 재매핑 모듈을 통해 저해상도 이미지와 근거 이미지 간의 분포 이탈에 대한 강건성을 향상시킨다. 이는 두 배수의 FLOPS 감소와 함께 다양한 데이터셋에서 PSNR/SSIM 향상을 이룩하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Reference-based image super-resolution (RefSR) has shown promising success in recovering high-frequency details by utilizing an external reference image (Ref). In this task, texture details are transferred from the Ref image to the low-resolution (LR) image according to their point- or patch-wise correspondence. Therefore, high-quality correspondence matching is critical. It is also desired to be computationally efficient. Besides, existing RefSR methods tend to ignore the potential large disparity in distributions between the LR and Ref images, which hurts the effectiveness of the information utilization. In this paper, we propose the MASA network for RefSR, where two novel modules are designed to address these problems. The proposed Match & Extraction Module significantly reduces the computational cost by a coarse-to-fine correspondence matching scheme. The Spatial Adaptation Module learns the difference of distribution between the LR and Ref images, and remaps the distribution of Ref features to that of LR features in a spatially adaptive way. This scheme makes the network robust to handle different reference images. Extensive quantitative and qualitative experiments validate the effectiveness of our proposed model.

연구 동기 및 목표

• 근거 기반 초해상도(RefSR)에서 밀도 높은 패치 매칭의 높은 계산 비용 문제를 해결하기 위해 효율적인 대응 매칭 메커니즘을 설계한다.
• 저해상도 이미지와 근거 이미지 간의 밝기, 색상 등의 분포 불일치로 인한 특징 전달 성능 저하 문제를 개선한다.
• 적응형 특징 정렬을 통해 근거 이미지에서 고주파 성분을 저해상도 입력으로 효과적이고 효율적으로 전달할 수 있도록 한다.
• 기준 데이터셋에서 정량적 지표와 시각적 품질 측면에서 모두 최신 기술 수준의 성능을 달성한다.

제안 방법

• 일련의 국소화된 근거 블록에 제한된 검색 공간을 통해 군집에서 세분화하는 대응 매칭을 수행하는 Match & Extraction Module (MEM)를 도입하여, FLOPS를 두 배수 감소시킨다.
• 자연 이미지의 국소적 일관성을 활용하여 패치 매칭을 공간적으로 일관된 영역로 제한함으로써 정확도를 유지하면서도 효율성을 향상시킨다.
• 근거 특징의 분포를 저해상도 특징의 분포와 공간적으로 적응적으로 재매핑하는 데 목적이 있는 공간 적응 모듈(SAM)을 제안한다.
• SAM을 적용하여 다양한 밝기 및 색상 조건에서의 특징 분포를 정렬함으로써, 다양한 근거 이미지에 대한 강건성을 향상시킨다.
• 저해상도 및 근거 브랜치의 특징을 별도로 처리하고 융합하는 이중 잔차 집합 모듈(DRAM)을 통합하여 특징 융합 효율성을 향상시킨다.
• 시각적 현실감과 구조적 정밀도를 향상시키기 위해 인지적 손실 및 적대적 손실을 사용하여 종합적인 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 근거 기반 초해상도에서 대응 매칭을 얼마나 더 효율적으로 만들 수 있으며, 매칭 품질을 손상시키지 않으면서도 계산 비용을 크게 줄일 수 있는가?
• RQ2 저해상도 이미지와 근거 이미지 간의 분포 불일치가 특징 전달 성능에 얼마나 심각한 영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ3 공간적으로 적응적인 정규화 모듈이 근거 이미지의 밝기 또는 색상 분포가 저해상도 이미지와 다를 경우 강건성을 향상시킬 수 있는가?
• RQ4 군집에서 세분화하는 매칭과 분포 정렬이 RefSR의 정량적 및 정성적 성능에 어떤 영향을 미치는가?

주요 결과

• Match & Extraction Module는 밀도 높은 패치 매칭 대비 약 두 배수의 FLOPS 감소를 달성하여, 1×1 블록 크기에서 787.77G FLOPS를 기록하고 최적 설정 시 10.5G로 감소한다.
• Spatial Adaptation Module는 기준 모델 대비 PSNR를 0.22 dB 향상시키고 SSIM을 0.007 향상시키며, 추가 파rameter는 0.15M로 극히 소량이다.
• CUFED5 데이터셋에서 MASA-SR는 PSNR 27.54 dB, SSIM 0.814를 기록하여 이전 최신 기술 수준의 방법들보다 두 지표에서 모두 승리한다.
• 정성적 결과에서는 특히 도전적인 근거 이미지 조건에서도 SRNTT 및 TTSR에 비해 더 현실적이고 세밀한 질감을 생성함을 확인할 수 있다.
• 다양한 밝기 조건(예: Ref’)을 가진 근거 이미지에서도 MASA-SR는 일관된 성능을 유지하지만, 기준 모델은 이러한 이격 조건에서 성능 저하가 심각하게 나타난다.
• 제거 실험 결과, Spatial Adaptation Module와 Dual Residual Aggregation Module 모두 최적 성능을 내기 위해 필수적임을 확인하였으며, DRAM은 단순 연결보다 PSNR에서 0.11 dB 향상된다.