[论文解读] Learning with Privileged Information for Efficient Image Super-Resolution

Won-Kyung Lee, Junghyup Lee+2 more|arXiv (Cornell University)|Jul 15, 2020

Advanced Image Processing Techniques参考文献 14被引用 5

一句话总结

本文提出了一种新颖的知识蒸馏框架，利用真实高分辨率（HR）图像作为特权信息，显著提升如FSRCNN等高效超分辨率网络的性能。通过训练教师网络学习从HR图像到低分辨率（LR）图像的退化过程，并将中间特征迁移至学生网络，该方法在计算成本极低的情况下实现了最先进性能，多个基准测试中PSNR提升最高达0.15 dB。

ABSTRACT

Convolutional neural networks (CNNs) have allowed remarkable advances in single image super-resolution (SISR) over the last decade. Most SR methods based on CNNs have focused on achieving performance gains in terms of quality metrics, such as PSNR and SSIM, over classical approaches. They typically require a large amount of memory and computational units. FSRCNN, consisting of few numbers of convolutional layers, has shown promising results, while using an extremely small number of network parameters. We introduce in this paper a novel distillation framework, consisting of teacher and student networks, that allows to boost the performance of FSRCNN drastically. To this end, we propose to use ground-truth high-resolution (HR) images as privileged information. The encoder in the teacher learns the degradation process, subsampling of HR images, using an imitation loss. The student and the decoder in the teacher, having the same network architecture as FSRCNN, try to reconstruct HR images. Intermediate features in the decoder, affordable for the student to learn, are transferred to the student through feature distillation. Experimental results on standard benchmarks demonstrate the effectiveness and the generalization ability of our framework, which significantly boosts the performance of FSRCNN as well as other SR methods. Our code and model are available online: https://cvlab.yonsei.ac.kr/projects/PISR.

研究动机与目标

• 解决基于深度卷积神经网络的超分辨率方法计算成本高和内存需求大的问题。
• 在不增加模型复杂度的前提下，提升轻量化、硬件友好型网络（如FSRCNN）的性能。
• 探索在训练过程中将真实HR图像作为特权信息的应用，这是单图像超分辨率领域的一项新方法。
• 开发一种从教师网络向学生网络迁移高频细节与精细特征知识的蒸馏框架。
• 在多种超分辨率架构（包括VDSR、IDN和CARN）上展示方法的泛化能力。

提出的方法

• 该框架采用教师-学生蒸馏设置，其中教师网络同时在低分辨率（LR）和高分辨率（HR）图像上进行训练，将HR图像作为特权信息使用。
• 教师网络的编码器通过模仿损失学习LR图像分布，从而建模从HR到LR的退化过程。
• 教师网络的解码器从紧凑特征中重建HR图像，并通过特征蒸馏将中间特征图与学生网络共享。
• 学生网络在架构上与教师网络的解码器完全相同，通过学习这些蒸馏后的特征来提升重建质量。
• 通过使用训练好的解码器权重初始化学生网络，增强知识迁移效果，实现更快收敛和更优性能。
• 该方法已应用于多种超分辨率架构（如FSRCNN、VDSR、IDN、CARN），证明了其广泛适用性。

实验结果

研究问题

• RQ1 真实HR图像能否被有效用作特权信息以提升超分辨率性能？
• RQ2 从在HR图像上训练的教师网络蒸馏中间特征，是否能提升轻量化学生网络的性能？
• RQ3 与传统知识蒸馏及现有超分辨率方法相比，该框架在PSNR和效率方面表现如何？
• RQ4 该方法在多种超分辨率架构（包括为低复杂度设计的网络）上能将性能提升到何种程度？
• RQ5 该框架是否能在不同缩放因子和基准数据集上实现良好泛化？

主要发现

• 在2×缩放因子下，该框架使FSRCNN-L在Set5数据集上的PSNR提升0.06 dB，达到37.65/31.92的PSNR/SSIM值。
• 在2×缩放因子下，该方法使VDSR在Set5数据集上的PSNR提升0.14 dB，达到37.77/32.00的PSNR/SSIM值。
• IDN在2×缩放因子下于Set5数据集上达到37.93/32.14的PSNR/SSIM值，创下新SOTA性能，相比原始模型提升0.10 dB。
• 在2×缩放因子下，该框架使CARN在Set5数据集上的PSNR提升0.07 dB，达到37.82/32.08的PSNR/SSIM值。
• 在Urban100数据集上，本框架的学生模型在视觉对比中表现出更低的伪影，能更准确地重建精细纹理和边缘。
• 如图4所示的参数量-计算量-PSNR权衡图所示，该方法在模型效率与性能之间实现了良好的折中。