[论文解读] Learning from Adversarial Features for Few-Shot Classification

Wei Shen, Ziqiang Shi+1 more|arXiv (Cornell University)|Mar 25, 2019

Adversarial Robustness in Machine Learning参考文献 35被引用 8

一句话总结

本文提出了一种简单但有效的对抗性特征学习方法，通过基于梯度的注意力掩码生成对抗性特征进行训练，从而在无需任务特定微调的情况下提升少样本分类的泛化能力。该方法通过鼓励特征图的空间探索并利用多尺度特征实现更精确的注意力定位，在 miniImageNet 和 tieredImageNet 上的 5-way 1-shot 和 5-way 5-shot 任务中均取得了最先进性能。

ABSTRACT

Many recent few-shot learning methods concentrate on designing novel model architectures. In this paper, we instead show that with a simple backbone convolutional network we can even surpass state-of-the-art classification accuracy. The essential part that contributes to this superior performance is an adversarial feature learning strategy that improves the generalization capability of our model. In this work, adversarial features are those features that can cause the classifier uncertain about its prediction. In order to generate adversarial features, we firstly locate adversarial regions based on the derivative of the entropy with respect to an averaging mask. Then we use the adversarial region attention to aggregate the feature maps to obtain the adversarial features. In this way, we can explore and exploit the entire spatial area of the feature maps to mine more diverse discriminative knowledge. We perform extensive model evaluations and analyses on miniImageNet and tieredImageNet datasets demonstrating the effectiveness of the proposed method.

研究动机与目标

• 解决少样本学习中的泛化差距问题，即模型在训练类别上过拟合而在新类别上表现不佳。
• 在不增加网络结构复杂度的前提下，提升模型学习特征的鲁棒性与多样性。
• 开发一种训练策略，通过使用特征图的对抗性扰动来增强特征提取器的泛化能力。
• 使单一模型在无需微调或适应的情况下，能在多种少样本设置（如 1-shot 和 5-shot）中均表现良好。

提出的方法

• 通过计算熵相对于平均掩码的梯度，生成对抗性特征，识别导致分类器不确定性的区域。
• 学习一种对抗性区域注意力机制以聚合特征图，迫使模型超越显著区域，探索完整的空间范围。
• 利用不同卷积层的多尺度特征，训练分类器以生成更精确的注意力掩码。
• 模型使用结合全局平均池化、对抗性特征和高层特征的多尺度分类损失来更新参数。
• 对抗性注意力掩码源自全局平均池化特征，并在训练过程中应用于扰动特征表示。
• 最终的特征提取器端到端进行训练，并在推理时仅通过全局平均池化直接使用，无需在新任务上进行任何适应。

实验结果

研究问题

• RQ1 对抗性特征学习是否能在不修改网络结构的前提下提升少样本分类的泛化能力？
• RQ2 在对抗性特征上进行训练是否能减少模型对训练数据中显著判别区域的过拟合？
• RQ3 在对抗性特征上进行训练的单一模型是否能有效泛化到不同少样本设置（如 1-shot 与 5-shot）？
• RQ4 多尺度特征学习如何影响对抗性注意力区域的准确性和定位精度？
• RQ5 对抗性特征训练在多大程度上提升了模型对测试特征中对抗性扰动的鲁棒性？

主要发现

• 所提方法在 miniImageNet 和 tieredImageNet 上的 5-way 1-shot 和 5-way 5-shot 任务中均达到最先进准确率，且无需任务特定微调。
• 在 miniImageNet 上，与基线模型相比，1-shot 任务准确率绝对提升 5.04%，5-shot 任务提升 4.65%。
• 在 tieredImageNet 上，1-shot 任务提升 3.33%，5-shot 任务提升 3.02%，表明在更小数据集上过拟合更严重，因此收益更显著。
• 使用对抗性特征训练的模型对对抗性扰动表现出显著更高的鲁棒性，在 γ 值不断增加的情况下仍保持稳定性能。
• 多尺度特征学习提升了注意力定位的准确性，相比单尺度基线，显著减少了将背景误分类为物体的情况。
• 消融实验表明，对抗性注意力有助于更充分地探索特征图的空间范围，减少过拟合并增强泛化能力。