[论文解读] Boosting Supervision with Self-Supervision for Few-shot Learning

Jong-Chyi Su, Subhransu Maji+1 more|arXiv (Cornell University)|Jun 17, 2019

Domain Adaptation and Few-Shot Learning参考文献 47被引用 5

一句话总结

本文提出在小规模标注数据集上训练时，将自监督学习作为辅助任务，以提升少样本学习中的特征可迁移性。通过利用数据集内部的图像构建如拼图和旋转预测等掩蔽任务，该方法在元学习基准上将相对误差降低了5%–25%，并在标准分类任务中提升了准确率，尤其在具有挑战性或退化输入的情况下表现更优。

ABSTRACT

We present a technique to improve the transferability of deep representations learned on small labeled datasets by introducing self-supervised tasks as auxiliary loss functions. While recent approaches for self-supervised learning have shown the benefits of training on large unlabeled datasets, we find improvements in generalization even on small datasets and when combined with strong supervision. Learning representations with self-supervised losses reduces the relative error rate of a state-of-the-art meta-learner by 5-25% on several few-shot learning benchmarks, as well as off-the-shelf deep networks on standard classification tasks when training from scratch. We find the benefits of self-supervision increase with the difficulty of the task. Our approach utilizes the images within the dataset to construct self-supervised losses and hence is an effective way of learning transferable representations without relying on any external training data.

研究动机与目标

• 提升从少量标注数据集中学习到的深度表征在少样本学习中的可迁移性。
• 探究自监督学习是否能在数据有限且不依赖外部未标注数据集的情况下增强泛化能力。
• 评估自监督学习对元学习与标准分类任务的影响。
• 理解自监督损失是否能减少过拟合并提升在低分辨率或灰度图像等困难输入下的鲁棒性。

提出的方法

• 引入仅使用训练数据集中图像的自监督掩蔽任务，包括拼图求解和图像旋转预测。
• 采用多任务目标联合训练深度网络，结合标准交叉熵损失与辅助自监督损失。
• 在不使用外部数据的前提下，将该方法应用于少样本元学习（如ProtoNets）和标准分类（如ResNet18）。
• 利用显著性图分析特征重要性并解释模型行为，尤其关注前景与背景的关注度差异。
• 采用标准少样本基准（miniImageNet、CIFAR-FS）和标准数据集（CUB-200、Cars、Aircrafts、Dogs、Flowers）进行评估。
• 使用基于梯度的显著性图可视化对预测贡献最大的图像区域，并对比有无自监督的模型。

实验结果

研究问题

• RQ1 当仅在小规模、同分布数据集上应用自监督学习且不使用外部数据时，是否能提升少样本泛化能力？
• RQ2 自监督学习的收益是否随任务难度增加而提升，例如在类别数量更多或图像质量退化的情况下？
• RQ3 自监督学习如何影响特征学习，特别是在对前景与背景区域的关注度方面？
• RQ4 在标准分类任务中，从零开始训练深度网络时，自监督损失是否能提升性能？

主要发现

• 将拼图或旋转预测作为辅助任务，使最先进元学习器在少样本基准上的相对误差率降低了5%–25%。
• 在5-way 5-shot miniImageNet上，采用拼图损失的ProtoNet准确率达到85.40%，相较于标准ProtoNet的82.24%提升了3.16个百分点。
• 在20-way 5-shot设置下，拼图增强的ProtoNet准确率达到87.59%，高于基线模型的86.08%，绝对提升1.74个百分点。
• 在标准分类任务中，自监督学习在所有五个数据集上均提升了ResNet18的准确率，其中旋转预测使鸟类分类准确率提升4.1%，汽车分类提升3.1%。
• 在退化输入（如灰度图或低分辨率图像）上，自监督学习带来的增益更大，表明其在更困难任务中优势更明显。
• 显著性图显示，经过自监督训练的模型更关注前景物体，对背景杂乱区域的关注减少，表明其对虚假相关性的依赖降低。