[论文解读] Improving Image Classification Robustness through Selective CNN-Filters Fine-Tuning

Alessandro Bianchi, Moreno Raimondo Vendra+2 more|arXiv (Cornell University)|Apr 8, 2019

Advanced Neural Network Applications参考文献 25被引用 8

一句话总结

本文提出了一种选择性滤波器微调方法，通过识别并仅重新训练最易受图像失真影响的卷积滤波器，提升了深度神经网络对图像失真的鲁棒性。该方法基于干净输入与失真输入之间的激活图距离，使用Borda计票法对滤波器进行排序，其性能与全量微调相当，但参数量显著减少，尤其在标注的噪声数据有限时效果更佳。

ABSTRACT

Image quality plays a big role in CNN-based image classification performance. Fine-tuning the network with distorted samples may be too costly for large networks. To solve this issue, we propose a transfer learning approach optimized to keep into account that in each layer of a CNN some filters are more susceptible to image distortion than others. Our method identifies the most susceptible filters and applies retraining only to the filters that show the highest activation maps distance between clean and distorted images. Filters are ranked using the Borda count election method and then only the most affected filters are fine-tuned. This significantly reduces the number of parameters to retrain. We evaluate this approach on the CIFAR-10 and CIFAR-100 datasets, testing it on two different models and two different types of distortion. Results show that the proposed transfer learning technique recovers most of the lost performance due to input data distortion, at a considerably faster pace with respect to existing methods, thanks to the reduced number of parameters to fine-tune. When few noisy samples are provided for training, our filter-level fine tuning performs particularly well, also outperforming state of the art layer-level transfer learning approaches.

研究动机与目标

• 为解决预训练CNN在测试失真图像时分类准确率下降的问题，该问题常见于数据集分布偏移场景。
• 识别CNN中对图像失真（如模糊和加性噪声）最敏感的卷积滤波器。
• 开发一种仅微调最易受失真影响滤波器的迁移学习方法，减少参数更新量与训练成本。
• 即使在缺乏干净-噪声图像对的情况下，也能实现鲁棒性提升，从而扩展至真实世界应用场景。

提出的方法

• 基于干净输入与失真输入的激活图距离，使用Borda计票法对滤波器的失真敏感度进行排序。
• 距离度量计算同一层在干净图像与失真图像上的特征图之间的L2范数，量化滤波器的敏感度。
• 仅选择每层中激活图距离最高的前25%滤波器进行微调，从而最小化可训练参数数量。
• 该方法无需干净图像与噪声图像之间的对应关系，适用于非关联设置。
• 仅对选定滤波器应用微调，其余网络权重保持为预训练参数。
• 该方法在CIFAR-10和CIFAR-100数据集上进行评估，使用AWGN和模糊失真，模型为All-Conv Net与ResNet-18。

实验结果

研究问题

• RQ1 CNN中哪些卷积滤波器对模糊和加性白高斯噪声等图像失真最为脆弱？
• RQ2 在缺乏干净-噪声图像对对应关系的情况下，能否可靠评估滤波器的敏感度？
• RQ3 当标注的噪声数据稀缺时，仅微调最易受失真影响的滤波器是否优于全层微调？
• RQ4 在准确率与训练效率方面，选择性滤波器微调与当前最优的层级迁移学习方法相比如何？
• RQ5 所提出方法是否能以远少于标准微调或附加校正模块的可训练参数量，实现类似鲁棒性？

主要发现

• 该方法恢复了因图像失真而损失的大部分性能，分类准确率接近全量微调的水平。
• 在CIFAR-100上使用AWGN（σ=15）时，当仅提供10%的噪声训练数据，选择性微调方法优于标准微调。
• 与全层微调相比，需要重新训练的滤波器数量最多减少了75%，显著降低了训练成本。
• 非关联版本方法——使用图像像素或压缩的特征图——与关联基线相比，每层匹配的滤波器数量达到13–19个，表明具有强一致性。
• 当有足够多的噪声数据时，该方法实现了与全量微调相当的性能，同时保持更快的收敛速度。
• 该方法对缺少干净-噪声图像对的情况具有鲁棒性，使其适用于真实世界中此类数据不可用的场景。