[논문 리뷰] Knowledge Distillation based Degradation Estimation for Blind Super-Resolution

Bin Xia, Yulun Zhang외 5명|arXiv (Cornell University)|2022. 11. 30.

Advanced Image Processing Techniques인용 수 9

한 줄 요약

이 논문은 지도 학습 없이도 암묵적 열화 표현(implicit degradation representation, IDR)을 학습할 수 있는 지식 정복 기반 블라인드 초해상도 프레임워크인 KDSR을 제안한다. 쌍체의 고해상도(HR) 및 저해상도(LR) 이미지에서 테이처 네트워크를 훈련시켜 IDR를 추출하고, 이를 학생 네트워크에 정복하여 단지 LR 입력에서만 작동하는 네트워크로 전달함으로써, KDSR는 다양한 열화 유형, 특히 실제 세계의 복잡한 열화 유형까지도 효율적인 IDR 기반 동적 컨볼루션 블록을 통해 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Blind image super-resolution (Blind-SR) aims to recover a high-resolution (HR) image from its corresponding low-resolution (LR) input image with unknown degradations. Most of the existing works design an explicit degradation estimator for each degradation to guide SR. However, it is infeasible to provide concrete labels of multiple degradation combinations (e.g., blur, noise, jpeg compression) to supervise the degradation estimator training. In addition, these special designs for certain degradation, such as blur, impedes the models from being generalized to handle different degradations. To this end, it is necessary to design an implicit degradation estimator that can extract discriminative degradation representation for all degradations without relying on the supervision of degradation ground-truth. In this paper, we propose a Knowledge Distillation based Blind-SR network (KDSR). It consists of a knowledge distillation based implicit degradation estimator network (KD-IDE) and an efficient SR network. To learn the KDSR model, we first train a teacher network: KD-IDE$_{T}$. It takes paired HR and LR patches as inputs and is optimized with the SR network jointly. Then, we further train a student network KD-IDE$_{S}$, which only takes LR images as input and learns to extract the same implicit degradation representation (IDR) as KD-IDE$_{T}$. In addition, to fully use extracted IDR, we design a simple, strong, and efficient IDR based dynamic convolution residual block (IDR-DCRB) to build an SR network. We conduct extensive experiments under classic and real-world degradation settings. The results show that KDSR achieves SOTA performance and can generalize to various degradation processes. The source codes and pre-trained models will be released.

연구 동기 및 목표

• 정확한 지도 레이블이 없는 복잡하고 다중 성분의 열화(예: 흐림, 노이즈, JPEG 압축)에 대해 명시적 열화 추정기 학습의 과제를 해결하기 위해.
• 열화 유형의 지도 학습에 의존하지 않는 일반화 가능한 암묵적 열화 표현(IDR) 학습 방법을 개발하기 위해.
• 경량 학생 네트워크에 정복된 IDR 지식을 활용하여 효율적이고 효과적인 블라인드 초해상도를 가능하게 하기 위해.
• 추출된 IDR를 최대한 활용하여 고해상도 재구성 성능을 향상시키는 동적 컨볼루션 메커니즘을 설계하기 위해.

제안 방법

• 쌍체의 고해상도(HR) 및 저해상도(LR) 이미지 패치에서 훈련된 테이처 네트워크(KD-IDE T)는 LR 입력으로부터 정확한 암묵적 열화 표현(IDR)을 추출한다.
• 학습된 학생 네트워크(KD-IDE S)는 단지 LR 이미지만을 입력으로 사용하여 테이처의 IDR 출력을 모방하도록 지식 정복을 통해 훈련되며, 이로 인해 지도 레이블이 필요 없어진다.
• 지식 정복 손실은 학생의 IDR가 테이처의 IDR와 일치하도록 적용되며, 분포 매칭을 위해 주로 Kullback-Leibler 발산을 손실 함수로 사용한다.
• 추출된 IDR를 기반으로 컨볼루션 필터를 적응적으로 조절하는 IDR 기반 동적 컨볼루션 잔차 블록(IDR-DCRB)을 제안한다.
• 학생 네트워크의 IDR 추출 능력은 정복 과정을 통해 추가로 향상되어 다양한 열화 과정에 대한 강력한 일반화 성능을 확보한다.
• 전체 KDSR 프레임워크는 초해상도 네트워크와 KD-IDE 학생 네트워크의 공동 최적화를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 지식 정복을 통해 지도 레이블이 없는 상황에서도 테이처 네트워크에서 학생 네트워크로 암묵적 열화 표현을 효과적으로 전달할 수 있는가?
• RQ2 정복된 IDR는 메트릭 학습이나 명시적 추정기 기반 방법에 비해 예측되지 않은 열화 유형에 대해 더 우수한 일반화 성능을 보이는가?
• RQ3 단지 LR 이미지만을 사용하여 훈련된 학생 네트워크가 쌍체의 HR/LR 데이터로 훈련된 테이처와 유사한 분별력 있는 열화 표현을 학습할 수 있는가?
• RQ4 IDR 기반 동적 컨볼루션 메커니즘은 표준 잔차 블록에 비해 초해상도 성능을 어떻게 향상시키는가?

주요 결과

• KDSR는 고전적 및 실제 세계의 열화 벤치마크에서 최신 기술 수준의 성능을 달성하며, PSNR 및 LPIPS 지표에서 기존 방법들을 능가한다.
• 지식 정복에 사용된 Kullback-Leibler 발산 손실이 가장 뛰어난 성능을 보였으며, Gaussian8 커널을 사용한 Urban100에서 25.96 dB의 PSNR를 기록했다. 이는 L1 및 L2 손실보다 뛰어나다.
• t-SNE 시각화 결과 학생 네트워크(KDSR S)가 테이처의 IDR를 기반으로 다양한 열화 유형을 성공적으로 구분하는 것으로 확인되었으며, 정복되지 않은 모델과 메트릭 학습 기반 베이스라인보다 뛰어난 성능을 보였다.
• IDR-DCRB 블록은 열화 인식 특징에 기반해 컨볼루션을 적응적으로 조절함으로써 재구성 품질을 크게 향상시켰으며, 이는 효율성과 정확도 향상에 기여한다.
• KDSR는 흐림, 노이즈, JPEG 압축과 같은 복잡한 실제 세계의 열화 유형에 대해 효과적으로 일반화되며, 다양한 열화 조합에 대한 강건성을 입증했다.
• 절단 분석 결과 지식 정복이 학생 네트워크가 지도 없이도 고성능의 IDR 추출 능력을 확보하는 데 필수적임을 확인했다.