[논문 리뷰] A Practical Contrastive Learning Framework for Single-Image Super-Resolution

Gang Wu, Junjun Jiang외 1명|arXiv (Cornell University)|2021. 11. 27.

Advanced Image Processing Techniques참고 문헌 65인용 수 10

한 줄 요약

이 논문은 단일 이미지 초해상도 복원을 위한 실용적인 대비 학습 프레임워크인 PCL-SR을 제안한다. 이 프레임워크는 주파수 영역에서 정보적인 양성 및 하드 음성 샘플을 생성하고, 사전 학습된 모델 대신 작업에 특화된 학습 가능한 임bedding 네트워크를 사용한다. 이 방법은 질감의 정확성과 일반화 능력을 향상시키며, 기존의 SISR 모델을 재학습할 경우 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Contrastive learning has achieved remarkable success on various high-level tasks, but there are fewer contrastive learning-based methods proposed for low-level tasks. It is challenging to adopt vanilla contrastive learning technologies proposed for high-level visual tasks to low-level image restoration problems straightly. Because the acquired high-level global visual representations are insufficient for low-level tasks requiring rich texture and context information. In this paper, we investigate the contrastive learning-based single image super-resolution from two perspectives: positive and negative sample construction and feature embedding. The existing methods take naive sample construction approaches (e.g., considering the low-quality input as a negative sample and the ground truth as a positive sample) and adopt a prior model (e.g., pre-trained VGG model) to obtain the feature embedding. To this end, we propose a practical contrastive learning framework for SISR, named PCL-SR. We involve the generation of many informative positive and hard negative samples in frequency space. Instead of utilizing an additional pre-trained network, we design a simple but effective embedding network inherited from the discriminator network which is more task-friendly. Compared with existing benchmark methods, we re-train them by our proposed PCL-SR framework and achieve superior performance. Extensive experiments have been conducted to show the effectiveness and technical contributions of our proposed PCL-SR thorough ablation studies. The code and pre-trained models can be found at https://github.com/Aitical/PCL-SISR.

연구 동기 및 목표

• 초해상도와 같은 저수준 이미지 복원 작업에 특화된 효과적인 대비 학습 프레임워크의 부족을 해결하기 위해.
• SISR를 위한 대비 학습에서 사전 학습된 네트워크와 단순한 샘플 구성 방식의 한계를 극복하기 위해.
• 주파수 도메인 변환을 통해 하드 음성 샘플과 개선된 양성 샘플을 생성함으로써 질감 정확성과 일반화 능력을 향상시키기 위해.
• 고정된 사전 학습된 모델에 의존하지 않고, 오염된 특징에 특화된 적응 가능한 작업 친화적 학습 가능한 임베딩 네트워크를 개발하기 위해.
• 다양한 SISR 모델과 데이터셋에서 PCL-SR 프레임워크의 일반성과 효과성을 입증하기 위해.

제안 방법

• 기본 진짜 이미지에 날카롭게 처리를 가미해 여러 양성 샘플을 생성하고, 기저 진짜 이미지에 경미한 블러를 적용해 하드 음성 샘플을 생성하는 새로운 데이터 증강 전략을 제안한다.
• 생성된 샘플에 주파수 도메인 변환(예: 하르 웨이블릿 및 FFT)을 적용하여 고주파 성분을 강조하고 대비 손실을 이끌어내는 데 기여한다.
• GAN 유사 프레임워크의 판별자에서 파생된 학습 가능한 임베딩 네트워크를 설계하여, 주요 SR 네트워크와 함께 엔드 투 엔드로 훈련함으로써 작업에 특화된 특징을 캡처한다.
• 주파수 임bedded 공간에서 대비 손실을 정의하며, 양성 쌍은 진짜 이미지의 날카로운 변형이고, 음성 쌍은 진짜 이미지의 블러된 변형이다.
• 대비 손실과 복원 손실 간의 균형을 맞추기 위해 하이퍼파rameter α를 도입하여, 인지적 품질과 정확성 간의 트레이드오프를 최적화한다.
• 제안된 구성 요소의 유효성을 검증하기 위해 아블레이션 스터디와 크로스 도메인 평가를 수행한다. 이는 샘플 생성, 임베딩 설계, 변환 유형 등을 포함한다.

실험 결과

연구 질문

• RQ1 통제된 열화를 통해 하드 음성 샘플을 생성하면 초해상도 이미지의 질감 품질이 향상되는가?
• RQ2 예를 들어 날카롭게 처리한 방식으로 개선된 양성 샘플을 제공하면 SISR 모델의 일반화 및 인지적 품질이 향상되는가?
• RQ3 학습 가능한 작업 특화 임베딩 네트워크는 저수준 이미지 복원 작업에서 고정된 사전 학습된 네트워크를 능가할 수 있는가?
• RQ4 주파수 영역 표현 학습은 초해상도에서 대비 학습의 성능에 어떤 영향을 미치는가?
• RQ5 기존의 SISR 모델을 제안된 대비 목표로 재학습했을 때 PCL-SR 프레임워크는 어느 정도 향상되는가?

주요 결과

• PCL-SR로 기존 SISR 모델(예: RCAN)을 재학습하면 Set5, Set14, Urban100, Manga109를 포함한 모든 벤치마크 데이터셋에서 뛰어난 성능을 달성한다.
• 경미한 블러를 적용해 생성한 하드 음성 샘플의 사용은 질감 정확성을 향상시키고 부자연스럽고 평균화된 출력을 감소시킨다.
• 날카롭게 처리한 방식으로 개선된 양성 샘플은 특히 Manga109에서의 크로스 도메인 테스트에서 모델의 일반화 능력을 향상시킨다.
• 주파수 영역 표현에서 하르 웨이블릿 변환은 FFT보다 성능이 뛰어나며, 더 작은 특징 맵 크기 덕분에 훨씬 더 빠른 훈련을 가능하게 한다.
• 대비 손실과 복원 손실을 균형 잡는 데 최적의 하이퍼파rameter α는 0.1이며, 이보다 높은 값은 성능 저하를 초래한다.
• 사전 학습된 임베딩 네트워크의 사용은 성능 향상을 추가로 이끌어내어, 사전 학습된 모델의 암묵적 지식을 활용하는 것이 미래의 유망한 방향임을 시사한다.