[论文解读] Knowledge Distillation based Degradation Estimation for Blind Super-Resolution

Bin Xia, Yulun Zhang+5 more|arXiv (Cornell University)|Nov 30, 2022

Advanced Image Processing Techniques被引用 9

一句话总结

本文提出KDSR，一种基于知识蒸馏的盲超分框架，通过在无真实退化标签的情况下学习隐式退化表征（IDR），实现对多种退化类型的高性能重建。通过在配对的HR/LR图像上训练教师网络以提取LR输入中的IDR，并将该IDR知识蒸馏到仅依赖LR输入的轻量级学生网络中，KDSR利用基于IDR的动态卷积模块，在无需真实退化标签的情况下，实现了在各类退化类型（包括真实世界复杂退化）下的最先进性能。

ABSTRACT

Blind image super-resolution (Blind-SR) aims to recover a high-resolution (HR) image from its corresponding low-resolution (LR) input image with unknown degradations. Most of the existing works design an explicit degradation estimator for each degradation to guide SR. However, it is infeasible to provide concrete labels of multiple degradation combinations (e.g., blur, noise, jpeg compression) to supervise the degradation estimator training. In addition, these special designs for certain degradation, such as blur, impedes the models from being generalized to handle different degradations. To this end, it is necessary to design an implicit degradation estimator that can extract discriminative degradation representation for all degradations without relying on the supervision of degradation ground-truth. In this paper, we propose a Knowledge Distillation based Blind-SR network (KDSR). It consists of a knowledge distillation based implicit degradation estimator network (KD-IDE) and an efficient SR network. To learn the KDSR model, we first train a teacher network: KD-IDE$_{T}$. It takes paired HR and LR patches as inputs and is optimized with the SR network jointly. Then, we further train a student network KD-IDE$_{S}$, which only takes LR images as input and learns to extract the same implicit degradation representation (IDR) as KD-IDE$_{T}$. In addition, to fully use extracted IDR, we design a simple, strong, and efficient IDR based dynamic convolution residual block (IDR-DCRB) to build an SR network. We conduct extensive experiments under classic and real-world degradation settings. The results show that KDSR achieves SOTA performance and can generalize to various degradation processes. The source codes and pre-trained models will be released.

研究动机与目标

• 解决在缺乏精确真实退化标签的情况下，对复杂多成分退化（如模糊、噪声、JPEG压缩）进行显式退化估计器训练的挑战。
• 开发一种无需依赖退化类型监督的通用隐式退化表征（IDR）学习方法。
• 通过在轻量级学生网络中利用蒸馏得到的IDR知识，实现高效且有效的盲超分。
• 设计一种动态卷积机制，以充分利用提取的IDR实现高保真图像重建。

提出的方法

• 在配对的HR和LR图像块上训练教师网络（KD-IDE T），从LR输入中提取精确的隐式退化表征（IDR）。
• 通过知识蒸馏训练学生网络（KD-IDE S），使其仅使用LR图像作为输入，模仿教师网络的IDR输出，从而避免对真实退化标签的依赖。
• 应用知识蒸馏损失，通过Kullback-Leibler散度作为主要损失函数，实现学生网络IDR与教师网络IDR的分布匹配。
• 提出一种基于IDR的动态卷积残差块（IDR-DCRB），利用提取的IDR自适应调制卷积核，以增强特征学习能力。
• 通过蒸馏进一步优化学生网络的IDR提取能力，使其在多种退化过程中具备鲁棒的泛化性能。
• 整体KDSR框架通过端到端联合优化SR网络与KD-IDE学生网络进行训练。

实验结果

研究问题

• RQ1 知识蒸馏是否能在无需真实退化标签的情况下，有效将教师网络的隐式退化表征知识迁移至学生网络？
• RQ2 与度量学习或显式估计器方法相比，蒸馏得到的IDR是否能实现对未见退化类型的更好泛化能力？
• RQ3 仅在LR图像上进行训练的学生网络，是否能够学习到与在配对HR/LR数据上训练的教师网络相当的判别性退化表征？
• RQ4 与标准残差块相比，基于IDR的动态卷积机制如何提升超分性能？

主要发现

• KDSR在经典和真实世界退化基准上均达到最先进性能，在PSNR和LPIPS指标上优于现有方法。
• 用于知识蒸馏的Kullback-Leibler散度损失表现最佳（在Gaussian8核下Urban100数据集PSNR达25.96 dB），优于L1和L2损失。
• t-SNE可视化结果表明，学生网络（KDSR S）成功从教师网络的IDR中学习到不同退化类型的区分能力，优于未蒸馏和基于度量学习的基线方法。
• IDR-DCRB模块通过基于退化感知特征动态调制卷积操作，显著提升了重建质量，同时提高了效率与准确性。
• KDSR在复杂真实世界退化（如模糊、噪声、JPEG压缩）下表现出色，展示了对多种退化组合的强鲁棒性。
• 消融实验验证，知识蒸馏对于学生网络在无监督条件下实现高质量IDR提取至关重要。