[논문 리뷰] Blind Image Super-Resolution via Contrastive Representation Learning

Jiahui Zhang, Shijian Lu외 2명|arXiv (Cornell University)|2021. 07. 01.

Advanced Image Processing Techniques참고 문헌 57인용 수 34

한 줄 요약

CRL-SR는 명시적 degradation 추정 없이 다중 모드 및 공간적으로 변이된 열화에서 블라인드 초해상도(blind super-resolution)를 달성하기 위해 대조적 디커플링 인코딩 및 대조적 특징 정제를 도입합니다.

ABSTRACT

Image super-resolution (SR) research has witnessed impressive progress thanks to the advance of convolutional neural networks (CNNs) in recent years. However, most existing SR methods are non-blind and assume that degradation has a single fixed and known distribution (e.g., bicubic) which struggle while handling degradation in real-world data that usually follows a multi-modal, spatially variant, and unknown distribution. The recent blind SR studies address this issue via degradation estimation, but they do not generalize well to multi-source degradation and cannot handle spatially variant degradation. We design CRL-SR, a contrastive representation learning network that focuses on blind SR of images with multi-modal and spatially variant distributions. CRL-SR addresses the blind SR challenges from two perspectives. The first is contrastive decoupling encoding which introduces contrastive learning to extract resolution-invariant embedding and discard resolution-variant embedding under the guidance of a bidirectional contrastive loss. The second is contrastive feature refinement which generates lost or corrupted high-frequency details under the guidance of a conditional contrastive loss. Extensive experiments on synthetic datasets and real images show that the proposed CRL-SR can handle multi-modal and spatially variant degradation effectively under blind settings and it also outperforms state-of-the-art SR methods qualitatively and quantitatively.

연구 동기 및 목표

• 현실 세계의 다중 모드, 공간적으로 변이된 열화 하에서 블라인드 SR의 도전 과제 해결.
• LR과 HR 이미지에서 해상도 불변 특징을 추출하여 열화 효과를 완화.
• 학습된 사전 지식을 활용하여 손실된 고주파 디테일을 회복하고 고충실도 SR 이미지를 생성.
• 대조적 표현 학습을 활용하여 명시적 열화 모델 추정을 피한다.

제안 방법

• 상향 샘플링된 LR 및 HR 이미지에서 해상도 불변 특징을 추출하는 두 개의 인코더를 갖고 bidirectional contrastive loss로 CDE를 제안한다.
• 조건부 대조적 손실로 안내되는 손실된 고주파 디테일을 생성하는 CFR 도입.
• LR와 HR 불변 특징 사이의 상호 정보를 최대화하기 위해 양방향 InfoNCE 스타일 손실을 사용한다.
• 해상도 불변 LR 특징에 조건을 두고 SR 특징 정제와 이미지 재구성을 안내하기 위한 조건부 대조 손실을 정의한다.
• CFR 손실, SR 재구성 손실, HR 재구성 손실을 포함하는 결합 목적함수를 최적화하여 HR 콘텐츠와의 정렬을 보장한다.
• I_l = (I_h ⊗ k) ↓_s + n 로 열화를 모델링하고, k와 n의 추정보다는 불변 표현 학습에 집중한다.

실험 결과

연구 질문

• RQ1 블라인드 SR에서 해상도 불변 특징을 열화로부터 분리해내는 대조 학습 프레임워크가 가능한가?
• RQ2 대조적 정제를 LR 불변 특징으로 조건화하는 것이 고주파 디테일 회복을 향상시키는가?
• RQ3 다중 모드, 공간적으로 변이된 열화 처리에서 CDE와 CFR가 서로를 보완하는가?
• RQ4 제안된 CRL-SR이 복잡한 실제 열화 하에서 기존의 블라인드 및 비블라인드 SR 방법들을 능가할 수 있는가?

주요 결과

• CRL-SR은 합성 및 실제 이미지에서 블라인드 다중 모드 열화 하에서 최첨단 SR 방법을 질적·정량적으로 능가한다.
• 근거 연구에서 CDE와 CFR이 PSNR 향상에 기여하며, 전체 CRL-SR이 최상의 성능을 달성한다.
• 양방향 대조 손실이 해상도 불변 특징을 효과적으로 추출하여 열화 영향력을 감소시킨다.
• 조건부 대조 손실은 열화 중에 손실된 고주파 디테일의 생성을 가능하게 해 디테일 충실도를 향상시킨다.
• 제안된 CRL-SR은 RCAN, IKC, DASR보다 공간적으로 변이된 열화 및 미지의 다중 모드 열화에서도 더 잘 일반화한다.