[论文解读] A Simple Cache Model for Image Recognition

A. Emin Orhan|arXiv (Cornell University)|May 21, 2018

Adversarial Robustness in Machine Learning参考文献 17被引用 8

一句话总结

该论文提出了一种简单且无需微调的缓存机制，通过利用靠近输出层的中间层中的类别相关特征，在推理阶段提升预训练图像识别模型的性能。通过将归一化的特征表示作为键，将独热编码的标签作为值，并结合网络的Softmax输出进行加权融合，该方法在不进行微调的情况下，显著提升了多种架构和数据集上的准确率，同时增强了对对抗性攻击的鲁棒性。

ABSTRACT

Training large-scale image recognition models is computationally expensive. This raises the question of whether there might be simple ways to improve the test performance of an already trained model without having to re-train or fine-tune it with new data. Here, we show that, surprisingly, this is indeed possible. The key observation we make is that the layers of a deep network close to the output layer contain independent, easily extractable class-relevant information that is not contained in the output layer itself. We propose to extract this extra class-relevant information using a simple key-value cache memory to improve the classification performance of the model at test time. Our cache memory is directly inspired by a similar cache model previously proposed for language modeling (Grave et al., 2017). This cache component does not require any training or fine-tuning; it can be applied to any pre-trained model and, by properly setting only two hyper-parameters, leads to significant improvements in its classification performance. Improvements are observed across several architectures and datasets. In the cache component, using features extracted from layers close to the output (but not from the output layer itself) as keys leads to the largest improvements. Concatenating features from multiple layers to form keys can further improve performance over using single-layer features as keys. The cache component also has a regularizing effect, a simple consequence of which is that it substantially increases the robustness of models against adversarial attacks.

研究动机与目标

• 在不进行微调或微调的情况下，提升预训练图像识别模型在推理阶段的性能。
• 通过将罕见但具有特征性的图像特征存储在缓存中，解决训练数据中代表性不足的问题。
• 通过缓存机制的正则化效应，提升模型对对抗性攻击的鲁棒性。
• 提供一种即插即用的解决方案，兼容任意预训练模型，仅需两个超参数。

提出的方法

• 缓存采用键值对形式，其中键为靠近输出层的一个或多个层的归一化、拼接后的激活值，值为独热编码的类别标签。
• 对于测试输入，使用温度缩放的点积计算其表示与缓存键之间的相似度得分（公式1）。
• 通过缓存值的加权平均生成基于记忆的预测分布（公式2），再与网络原始的Softmax输出进行融合（公式3）。
• 融合过程由超参数λ控制，相似度的锐化程度由θ控制，两者均通过在验证集上进行网格搜索进行优化。
• 键通过使用训练数据的一个子集从训练好的网络中提取，缓存和主网络不再进行任何进一步训练。
• 该方法在推理后应用，因此与网络架构无关，易于部署。

实验结果

研究问题

• RQ1 预训练图像分类器是否能在不微调或微调的情况下实现推理阶段性能的提升？
• RQ2 将中间层特征存储在缓存中是否能提升泛化能力，特别是对罕见或独特特征？
• RQ3 一个简单的键值缓存是否能增强对对抗性样本的鲁棒性？
• RQ4 层的选择以及特征的组合方式如何影响缓存性能？
• RQ5 缓存大小和超参数调优对准确率和鲁棒性有何影响？

主要发现

• 与基线模型相比，该缓存模型在CIFAR-10和CIFAR-100上的Top-1准确率分别最高提升了4.29%和6.49%。
• 使用靠近输出层的特征（如ResNet中的第3层）可获得最大的性能提升，优于早期层。
• 将多个层的特征拼接使用可提升性能，相较于单层键，使用最后几层的特征组合效果最佳。
• 仅使用缓存的变体（λ = 1）在CIFAR-10上达到11.87%的Top-1准确率，在CIFAR-100上达到39.18%（使用ResNet20），展现出强大的泛化能力。
• 该缓存机制显著提升了对FGSM和PGD对抗性攻击的鲁棒性，表明其对模型输入空间行为具有正则化效应。
• 该方法在多种架构（ResNet20、32、56）和数据集（包括ImageNet）上均有效，且一致实现了性能提升。