[论文解读] Local-Selective Feature Distillation for Single Image Super-Resolution

Seonguk Park, Nojun Kwak|arXiv (Cornell University)|Nov 22, 2021

Advanced Image Processing Techniques参考文献 48被引用 7

一句话总结

本文提出了一种新型知识蒸馏方法——局部选择性特征蒸馏（LSFD），用于单图像超分辨率（SISR），通过聚焦局部感受野并应用基于教师-学生差异的注意力机制来增强特征蒸馏。LSFD在传统蒸馏方法的基础上提升了性能，在Urban100和DIV2K等基准数据集上取得了最先进结果，尤其在×4上采样时计算开销极低。

ABSTRACT

Recent improvements in convolutional neural network (CNN)-based single image super-resolution (SISR) methods rely heavily on fabricating network architectures, rather than finding a suitable training algorithm other than simply minimizing the regression loss. Adapting knowledge distillation (KD) can open a way for bringing further improvement for SISR, and it is also beneficial in terms of model efficiency. KD is a model compression method that improves the performance of Deep Neural Networks (DNNs) without using additional parameters for testing. It is getting the limelight recently for its competence at providing a better capacity-performance tradeoff. In this paper, we propose a novel feature distillation (FD) method which is suitable for SISR. We show the limitations of the existing FitNet-based FD method that it suffers in the SISR task, and propose to modify the existing FD algorithm to focus on local feature information. In addition, we propose a teacher-student-difference-based soft feature attention method that selectively focuses on specific pixel locations to extract feature information. We call our method local-selective feature distillation (LSFD) and verify that our method outperforms conventional FD methods in SISR problems.

研究动机与目标

• 为解决现有特征蒸馏（FD）方法在SISR中未能有效利用空间上下文和感受野扩展的局限性。
• 通过知识蒸馏在不增加推理参数的前提下提升SISR中的模型效率与性能。
• 开发一种基于教师-学生预测差异的蒸馏策略，选择性聚焦于高影响特征区域。
• 证明局部化与注意力引导的特征蒸馏可显著提升超分辨率质量，超越标准FD方法。

提出的方法

• 提出局部特征蒸馏（LFD），通过将特征匹配限制在空间局部邻域来扩展蒸馏的有效感受野，从而提升空间一致性。
• 引入选择性特征蒸馏（SFD），一种基于教师-学生特征差异幅度的注意力机制，用于加权蒸馏损失，优先关注难以学习的区域。
• 将LFD与SFD结合为局部-选择性特征蒸馏（LSFD），使蒸馏既具有空间局部性，又根据误差幅度动态加权。
• 使用1×1卷积和ReLU的回归头对齐教师与学生网络之间的特征图，同时结合L1损失和基于FFT的损失以增强重建效果。
• 采用基于梯度的显著性图（LAM）可视化并验证LSFD增强了学生网络感受野中的特征利用。
• 将LSFD应用于轻量级学生网络（如小型RCAN），在标准SISR训练协议下加入额外蒸馏损失进行训练。

实验结果

研究问题

• RQ1 为何基于距离的标准特征蒸馏方法在单图像超分辨率任务中表现不佳？
• RQ2 在特征蒸馏中采用局部感受野扩展是否能提升SISR性能与模型效率？
• RQ3 基于教师-学生特征差异的注意力机制如何影响SISR中的蒸馏有效性？
• RQ4 LSFD是否在Urban100和DIV2K等标准基准上超越传统蒸馏方法与基线SISR模型？
• RQ5 LSFD能否使小型学生网络在重建质量上超越更大的教师网络？

主要发现

• LSFD在Urban100数据集上达到最先进性能，在×4上采样时相比基线蒸馏方法PSNR最高提升0.15 dB。
• 在DIV2K数据集上，LSFD优于标准FitNet-based蒸馏方法，并在感知质量方面与更大模型表现相当。
• 使用LAM生成的可视化结果表明，LSFD使学生网络能更有效地利用其感受野，尤其在恢复细纹理和边缘方面。
• 该方法在抗混叠任务中显著提升性能，而此类任务对空间上下文依赖性强，证实了局部特征蒸馏的优势。
• 在EDSR-based模型中引入基于FFT的损失可进一步提升LSFD性能，表明频域监督与LSFD之间存在协同效应。
• 尽管LSFD表现优异，但在具有长程依赖关系的数据集中仍存在局限性，提示未来可结合非局部注意力机制进行改进。