[论文解读] Bag of Instances Aggregation Boosts Self-supervised Distillation

Haohang Xu, Jiemin Fang+6 more|arXiv (Cornell University)|Jul 4, 2021

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

该论文提出BINGO，一种自监督蒸馏方法，通过基于教师模型的相似性将相关样本聚合为'袋'，从而提升小型模型的性能。通过应用双重蒸馏损失——样本间与样本内损失——BINGO从教师模型中迁移关系知识，在ImageNet上分别实现了ResNet-18和ResNet-34的SOTA结果，top-1准确率分别达到65.5%和68.9%，显著优于先前方法。

ABSTRACT

Recent advances in self-supervised learning have experienced remarkable progress, especially for contrastive learning based methods, which regard each image as well as its augmentations as an individual class and try to distinguish them from all other images. However, due to the large quantity of exemplars, this kind of pretext task intrinsically suffers from slow convergence and is hard for optimization. This is especially true for small-scale models, in which we find the performance drops dramatically comparing with its supervised counterpart. In this paper, we propose a simple but effective distillation strategy for unsupervised learning. The highlight is that the relationship among similar samples counts and can be seamlessly transferred to the student to boost the performance. Our method, termed as BINGO, which is short for Bag of InstaNces aGgregatiOn, targets at transferring the relationship learned by the teacher to the student. Here bag of instances indicates a set of similar samples constructed by the teacher and are grouped within a bag, and the goal of distillation is to aggregate compact representations over the student with respect to instances in a bag. Notably, BINGO achieves new state-of-the-art performance on small-scale models, i.e., 65.5% and 68.9% top-1 accuracies with linear evaluation on ImageNet, using ResNet-18 and ResNet-34 as the backbones respectively, surpassing baselines (52.5% and 57.4% top-1 accuracies) by a significant margin. The code is available at https://github.com/haohang96/bingo.

研究动机与目标

• 为解决小模型在大规模样本集下对比自监督学习收敛缓慢且优化效果差的问题。
• 通过利用高度相似样本之间的关系结构，而非随机样本对，改进无监督学习中的知识蒸馏。
• 开发一种基于关系引导的蒸馏策略，将大型教师模型的紧凑袋式表征迁移至小型学生模型。
• 在无需标注数据的情况下，实现在小规模模型上的自监督表征学习SOTA性能。

提出的方法

• 该方法通过匹配预训练教师模型的嵌入表示，将高度相似的样本构建为'袋'，即将与给定锚点样本高度相似的实例归为同一袋。
• 使用基于袋的训练数据集替代标准的实例级数据集，从而实现在相关样本结构化群体上的蒸馏。
• 引入双重蒸馏损失：样本内损失使同一图像在学生和教师网络中的增强视图对齐，样本间损失则将袋内所有实例拉近至锚点。
• 袋的构建基于教师模型嵌入空间中的相似性分数，确保仅高度相关的样本被分组。
• 学生模型采用改进的对比学习目标进行训练，同时融合实例级与袋级监督信号。
• 该方法与现有自监督框架兼容，可仅通过少量网络结构修改即可应用。

实验结果

研究问题

• RQ1 将高度相似样本聚合成'袋'是否能提升小模型在自监督学习中的知识蒸馏性能？
• RQ2 在高度相似样本间迁移关系知识，是否能带来优于无关系感知蒸馏方法的表征学习效果？
• RQ3 当仅使用教师模型的数据关系（不使用预训练权重）时，学生模型的性能与同时使用教师权重和关系信息相比如何？
• RQ4 BINGO能否在使用ResNet-18和ResNet-34等小骨干网络时，在ImageNet上实现SOTA性能（线性评估设置）？
• RQ5 在相同训练轮次下，BINGO的计算成本与SEED和DisCo等现有方法相比如何？

主要发现

• 使用ResNet-18作为学生模型时，BINGO在ImageNet上实现了65.5%的SOTA top-1准确率，超越此前SOTA的52.5%。
• 当学生模型为ResNet-34时，BINGO达到68.9%的top-1准确率，显著优于先前SOTA的57.4%。
• 即使仅使用教师模型的数据关系（不使用预训练权重），BINGO仍取得62.2%的准确率，证明了关系知识本身具有显著价值。
• 在相同训练成本（100轮）下，BINGO优于SEED（62.7% top-1）且在200轮时与DisCo（68.1% top-1）相当，表明其具有更优的样本效率。
• 消融实验证实，同时使用教师模型的预训练权重与关系信息可获得最佳性能（ResNet-18下为64.0%），表明二者具有互补优势。
• BINGO的计算成本与DisCo相当，且在训练时间受限时仍保持优异性能，优于采用更长训练周期的方法。