[논문 리뷰] Unsupervised Degradation Representation Learning for Blind Super-Resolution

Longguang Wang, Yingqian Wang외 5명|arXiv (Cornell University)|2021. 04. 01.

Advanced Image Processing Techniques참고 문헌 45인용 수 23

한 줄 요약

이 논문은 대조 학습을 통해 명시적인 복원도 추정 없이 암묵적으로 복원 특성을 학습하는 비지도 복원 표현 학습 방법을 제안한다. 복원 인식 초상화 복원(DASR) 네트워크는 이러한 표현을 사용해 특징을 적응적으로 조정하여, 반복적 방법보다 7배 빠른 추론 속도로 합성 및 실세계 이미지에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Most existing CNN-based super-resolution (SR) methods are developed based on an assumption that the degradation is fixed and known (e.g., bicubic downsampling). However, these methods suffer a severe performance drop when the real degradation is different from their assumption. To handle various unknown degradations in real-world applications, previous methods rely on degradation estimation to reconstruct the SR image. Nevertheless, degradation estimation methods are usually time-consuming and may lead to SR failure due to large estimation errors. In this paper, we propose an unsupervised degradation representation learning scheme for blind SR without explicit degradation estimation. Specifically, we learn abstract representations to distinguish various degradations in the representation space rather than explicit estimation in the pixel space. Moreover, we introduce a Degradation-Aware SR (DASR) network with flexible adaption to various degradations based on the learned representations. It is demonstrated that our degradation representation learning scheme can extract discriminative representations to obtain accurate degradation information. Experiments on both synthetic and real images show that our network achieves state-of-the-art performance for the blind SR task. Code is available at: https://github.com/LongguangWang/DASR.

연구 동기 및 목표

• 고정된 복원도(예: 이방형)를 가정한 경우 실세계 복원도와 다를 때 CNN 기반 초해상도 복원 방법의 성능 저하 문제를 해결하기 위해.
• 블라인드 초해상도에서 시간이 많이 소요되고 오류가 발생하기 쉬운 복원도 추정에 의존하지 않기 위해.
• 비지도 방식으로 복원 유형의 추상적이고 특징적인 표현을 학습하기 위해.
• 이러한 표현을 활용해 단일 추론 네트워크가 다양한 알려지지 않은 복원도에 민감하게 적응할 수 있도록 하기 위해.

제안 방법

• 동일한 이미지에서 온 패치들(동일한 복원도)은 서로 가까이, 다른 이미지에서 온 패치들(다른 복원도)은 서로 멀리 떨어지도록 표현 공간에 이미지 패치를 매핑하는 복원 인코더를 대조 학습을 통해 훈련한다.
• 학습된 복원 표현을 사용해 컨volutional 커널과 채널별 조절 계수를 예측함으로써 특징을 적응적으로 개선하는 복원 인식 초상화 복원(DASR) 네트워크를 구현한다.
• 동일한 이미지의 패치들(양성 쌍)을 다른 이미지의 패치들(음성 쌍)과 비교하는 대조 손실 함수를 사용하여 잠재 표현 공간에서의 유사도를 측정한다.
• 지표 복원도 레이블이 필요 없이 오직 저해상도 이미지만을 사용하여 비지도 방식으로 복원 인코더를 훈련한다.
• 자르기, 색상 왜곡 등 데이터 증강 기법을 활용해 대조 학습을 위한 양성 및 음성 쌍을 생성한다.
• 동적 컨볼루션과 채널 주의 메커니즘을 통해 복원 표현을 초해상도 네트워크에 통합하여 적응적 특징 학습을 구현한다.

실험 결과

연구 질문

• RQ1 명시적 복원도 추정 없이도 비지도 표현 학습이 특징적인 복원 특성을 효과적으로 포착할 수 있는가?
• RQ2 학습된 복원 표현이 단일 초해상도 네트워크가 다양한 알려지지 않은 복원도에 일반화할 수 있도록 할 수 있는가?
• RQ3 표현 공간에서의 대조 학습이 픽셀 수준의 복원도 추정에 비해 정확도와 효율성 면에서 뛰어나게 성능을 내는가?
• RQ4 제안된 방법이 합성 및 실세계 블라인드 초해상도 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 DASR 네트워크는 ×4 초해상도에서 Set14에서 최신 기술 수준의 PSNR 성능을 달성했으며, 노이즈 수준 0일 때 27.99 dB, 노이즈 수준 5일 때 27.25 dB, 노이즈 수준 10일 때 26.57 dB를 기록했다.
• 모든 블러 커널과 노이즈 수준에서 평균적으로 IKC보다 0.8 dB 높은 성능을 보였으며, 추론 시간은 70ms로 520ms인 IKC 대비 7배 이상 단축되었다.
• 시각화 결과(그림 6)에 따르면 복원 표현 공간은 다양한 블러 커널과 노이즈 수준을 특징적으로 군집화하는 데 성공했다.
• 실세계 이미지에서 DASR은 기준 방법 대비 더 선명한 세부 정보와 더 적은 흐림 잔상(블러 아티팩트)을 생성했다. 그림 8에서 이를 확인할 수 있다.
• 비지도 복원 표현 학습 기반으로 지표 없이도 정확한 복원 정보 추출이 가능했다.
• 다양한 블러 커널과 노이즈 수준이 복합적으로 작용하는 복잡한 복원 조건에서도 최소한의 아티팩트로 뛰어난 시각적 품질을 달성했다.