[论文解读] How Well Does Self-Supervised Pre-Training Perform with Streaming Data?

Dapeng Hu, Shipeng Yan+7 more|arXiv (Cornell University)|Apr 25, 2021

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

本文研究了在流式数据设置下的自监督预训练，其中数据以顺序方式到达而非一次性批量到达。研究发现，通过使用数据重放或参数正则化等简单技术，顺序自监督学习的性能可与联合预训练相媲美——表现出极少的灾难性遗忘，并且在严重分布偏移下，其特征表示与联合训练模型高度相似。

ABSTRACT

Prior works on self-supervised pre-training focus on the joint training scenario, where massive unlabeled data are assumed to be given as input all at once, and only then is a learner trained. Unfortunately, such a problem setting is often impractical if not infeasible since many real-world tasks rely on sequential learning, e.g., data are decentralized or collected in a streaming fashion. In this paper, we conduct the first thorough and dedicated investigation on self-supervised pre-training with streaming data, aiming to shed light on the model behavior under this overlooked setup. Specifically, we pre-train over 500 models on four categories of pre-training streaming data from ImageNet and DomainNet and evaluate them on three types of downstream tasks and 12 different downstream datasets. Our studies show that, somehow beyond our expectation, with simple data replay or parameter regularization, sequential self-supervised pre-training turns out to be an efficient alternative for joint pre-training, as the performances of the former are mostly on par with those of the latter. Moreover, catastrophic forgetting, a common issue in sequential supervised learning, is much alleviated in sequential self-supervised learning (SSL), which is well justified through our comprehensive empirical analysis on representations and the sharpness of minima in the loss landscape. Our findings, therefore, suggest that, in practice, for SSL, the cumbersome joint training can be replaced mainly by sequential learning, which in turn enables a much broader spectrum of potential application scenarios.

研究动机与目标

• 研究在数据以顺序方式而非集中方式到达的流式数据设置下，自监督预训练的可行性和有效性。
• 通过探索顺序训练作为可扩展的替代方案，解决联合预训练带来的高存储和计算成本等实际限制。
• 分析顺序自监督学习中的灾难性遗忘现象，并与监督持续学习进行比较。
• 在不同流式数据分布下，评估在多样化下游任务和数据集上的迁移性能。
• 对顺序训练与联合训练模型之间的表示相似性和损失景观陡峭性进行全面的实证分析。

提出的方法

• 使用四种流式数据类型（实例增量、随机类别增量、远距离类别增量、领域增量）在ImageNet和DomainNet上预训练超过500个模型。
• 在顺序数据处理下，使用标准的自监督学习方法（如SimCLR、MoCo）进行预训练。
• 应用持续学习技术（如经验重放和参数正则化，例如MAS）以缓解遗忘。
• 在12个数据集上，通过线性评估、少样本分类和Pascal VOC目标检测三项下游任务评估模型性能。
• 通过计算顺序训练与联合训练模型之间特征的线性CKA相似度，衡量表示对齐程度。
• 通过沿训练步骤间插值权重路径的kNN准确率，分析损失景观的陡峭性。

实验结果

研究问题

• RQ1 在不同流式数据分布下，顺序自监督预训练与联合预训练在下游迁移性能方面如何比较？
• RQ2 与监督持续学习相比，顺序自监督学习中灾难性遗忘的程度如何？
• RQ3 在流式条件下，顺序训练与联合训练模型所学表示的相似性如何？
• RQ4 持续学习技术（如数据重放、参数正则化）在提升顺序SSL性能方面发挥何种作用？
• RQ5 顺序自监督与监督模型之间的损失景观陡峭性有何差异？这对泛化能力有何启示？

主要发现

• 通过数据重放或参数正则化进行顺序自监督预训练，在分布偏移轻微或无偏移的流式数据上，其迁移学习性能可与联合预训练相媲美。
• 在存在严重分布偏移的流式数据（如远距离类别增量）上，性能差距显现，但使用MAS或重放时，顺序训练与联合训练模型之间的CKA相似度最高可达0.9，表明特征对齐程度高。
• 与监督学习相比，顺序SSL中的灾难性遗忘显著减轻，表现为损失景观更平坦且表示更稳定。
• 陡峭性分析显示，SSL模型在训练步骤间的插值路径上表现出更平坦的极小值，尤其在实例增量设置下，表明其具有更好的泛化潜力。
• 线性CKA相似度得分显示，即使在严重分布偏移的数据上，顺序训练的SSL模型与联合训练模型的相似度仍保持在0.7，使用MAS或重放时可提升至0.9，证实了其鲁棒的特征学习能力。
• 尽管在实例增量序列中（因涉及1000类分类）陡峭性值较高，SSL模型仍表现出良好泛化能力，表明在自监督设置中，陡峭性本身并不能准确预测性能下降。