[논문 리뷰] Robust Reference-based Super-Resolution via C2-Matching

Yuming Jiang, Kelvin C. K. Chan외 3명|arXiv (Cornell University)|2021. 06. 03.

Advanced Image Processing Techniques참고 문헌 38인용 수 5

한 줄 요약

이 논문은 변환(예: 스케일, 회전)과 해상도 갭(고해상도(HR) 대 저해상도(LR))를 명시적으로 다루기 위해 대비 대응 네트워크를 활용한 스케일/회전 불변성과 교사-학생 상관관계 distillation을 통한 LR-HR 매칭 향상을 통해 강력한 참조 기반 초해상도를 위한 새로운 프레임워크 C²-Matching을 제안한다. CUFED5에서 1dB 이상의 PSNR 향상을 달성했으며, 웹 기반 참조 검색을 시뮬레이션하는 새로운 WR-SR 벤치마크에서 강력한 일반화 성능을 보였다.

ABSTRACT

Reference-based Super-Resolution (Ref-SR) has recently emerged as a promising paradigm to enhance a low-resolution (LR) input image by introducing an additional high-resolution (HR) reference image. Existing Ref-SR methods mostly rely on implicit correspondence matching to borrow HR textures from reference images to compensate for the information loss in input images. However, performing local transfer is difficult because of two gaps between input and reference images: the transformation gap (e.g. scale and rotation) and the resolution gap (e.g. HR and LR). To tackle these challenges, we propose C2-Matching in this work, which produces explicit robust matching crossing transformation and resolution. 1) For the transformation gap, we propose a contrastive correspondence network, which learns transformation-robust correspondences using augmented views of the input image. 2) For the resolution gap, we adopt a teacher-student correlation distillation, which distills knowledge from the easier HR-HR matching to guide the more ambiguous LR-HR matching. 3) Finally, we design a dynamic aggregation module to address the potential misalignment issue. In addition, to faithfully evaluate the performance of Ref-SR under a realistic setting, we contribute the Webly-Referenced SR (WR-SR) dataset, mimicking the practical usage scenario. Extensive experiments demonstrate that our proposed C2-Matching significantly outperforms state of the arts by over 1dB on the standard CUFED5 benchmark. Notably, it also shows great generalizability on WR-SR dataset as well as robustness across large scale and rotation transformations.

연구 동기 및 목표

• 변환(예: 스케일, 회전)과 해상도(HR 대 LR) 갭으로 인한 참조 기반 초해상도에서의 정확한 대응 매칭 문제를 해결하기 위해.
• 입력 이미지의 증강된 시각을 기반으로 한 대비 학습을 통해 변환에 강인한 특징을 학습하여 질감 전달 정확도를 향상시키기 위해.
• 사전 훈련된 HR-HR 매칭 교사 모델로부터 지식을 추출하여 저해상도에서 고해상도로의 매칭을 보다 잘 수행할 수 있도록 하는 데에.
• 실제 환경에서 웹 검색을 통해 확보된 참조 이미지를 사용하는 실용적 설정에서 Ref-SR 평가를 위한 더 현실적인 벤치마크를 개발하기 위해.
• 학습된 대응 관계에 기반해 유연하게 참조 특징을 융합할 수 있는 동적 집합 모듈을 통해 복원 품질을 향상시키기 위해.

제안 방법

• 변환된 특징 쌍 간의 거리를 최소화하고 관련성이 없는 특징 간의 거리를 최대화함으로써 변환에 강인한 특징 기술자(Descriptor)를 학습하기 위해 대비 대응 네트워크를 도입한다.
• 스케일과 회전에 대한 불변성을 강화하기 위해 트리플릿 마진 손실을 활용하여 기하학적 변형 상황에서도 대응 정확도를 향상시킨다.
• 고해상도-고해상도 매칭 모델(교사)에서 얻은 지식을 저해상도-고해상도 매칭 모델(학생)으로 전달하기 위해 교사-학생 상관관계 distillation을 적용한다.
• 학생 모델은 해상도 불균형에도 불구하고 대응 관계를 더 정확히 정렬하기 위해 교사의 주의 맵을 활용하여 안내된다.
• 학습된 주의 가중치를 기반으로 참조 이미지 특징을 융합하기 위해 동적 집합 모듈을 도입하여 더 유연한 가용 영역 크기의 수신장(Receptive Field)을 가능하게 한다.
• 재구성 손실과 함께 대응 정확도 및 이미지 품질을 동시에 최적화하기 위해 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 대규모 스케일 및 회전 변형에서 참조 기반 초해상도의 대응 매칭 정확도 향상에 대비 학습이 기여할 수 있는가?
• RQ2 고해상도 매칭 모델에서의 지식을 어떻게 효과적으로 저해상도에서 고해상도로의 대응 매칭 향상에 전달할 수 있는가?
• RQ3 암묵적 매칭 대비 명시적 교차 해상도 및 교차 변환 매칭이 질감 전달 및 이미지 복원 품질 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 훈련 중에 볼 수 없었던 실세계 웹 기반 참조 이미지에 대해 얼마나 잘 일반화되는가?
• RQ5 각 구성 요소(대비 네트워크, distillation, 동적 집합)가 최종 초해상도 성능에 미치는 영향은 무엇인가?

주요 결과

• C²-Matching는 최신 기술 대비 표준 CUFED5 벤치마크에서 1dB 이상의 PSNR 향상을 달성한다.
• 대비 대응 네트워크는 대규모 스케일 및 회전 변형 하에서 평균 종점 오차를 15-25% 감소시켜 뛰어난 강인성을 입증한다.
• 교사-학생 상관관계 distillation은 CUFED5의 질감 서브셋에서 0.16dB의 성능 향상을 이끌어내어 세밀한 디테일 복원에 있어 뚜렷한 성과를 보였다.
• 동적 집합 모듈은 고정 크기 패치 융합 대비 PSNR를 0.08dB 향상시켜 적응형 특징 융합의 이점을 입증한다.
• 최근 도입된 WR-SR 데이터셋(웹 기반 참조 검색을 시뮬레이션)에서 C²-Matching는 강력한 성능 유지를 보이며 일반화 능력을 입증했다.
• 사용자 연구 결과, 80% 이상의 참가자가 SRNTT 및 ESRGAN과 같은 최신 기술 대비 C²-Matching 출력의 시각적 품질을 선호했다.