[论文解读] How Well Self-Supervised Pre-Training Performs with Streaming Data?

Dapeng Hu, Qizhengqiu Lu+6 more|arXiv (Cornell University)|Apr 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 65被引用 6

一句话总结

本文研究了流式数据的顺序自监督预训练，与传统的联合训练进行比较。结果表明，当结合参数正则化或数据重放等简单技术时，顺序训练在分布偏移下仍能达到与联合训练几乎相同的性能，使其成为现实应用中更高效且具有竞争力的替代方案。

ABSTRACT

The common self-supervised pre-training practice requires collecting massive unlabeled data together and then trains a representation model, dubbed extbf{joint training}. However, in real-world scenarios where data are collected in a streaming fashion, the joint training scheme is usually storage-heavy and time-consuming. A more efficient alternative is to train a model continually with streaming data, dubbed extbf{sequential training}. Nevertheless, it is unclear how well sequential self-supervised pre-training performs with streaming data. In this paper, we conduct thorough experiments to investigate self-supervised pre-training with streaming data. Specifically, we evaluate the transfer performance of sequential self-supervised pre-training with four different data sequences on three different downstream tasks and make comparisons with joint self-supervised pre-training. Surprisingly, we find sequential self-supervised learning exhibits almost the same performance as the joint training when the distribution shifts within streaming data are mild. Even for data sequences with large distribution shifts, sequential self-supervised training with simple techniques, e.g., parameter regularization or data replay, still performs comparably to joint training. Based on our findings, we recommend using sequential self-supervised training as a extbf{more efficient yet performance-competitive} representation learning practice for real-world applications.

研究动机与目标

• 评估在数据以流式方式到达时，顺序自监督预训练的有效性，与标准的联合训练方法进行对比。
• 评估流式数据中的分布偏移对顺序自监督学习性能的影响。
• 在多种下游任务中，比较顺序与联合自监督预训练的迁移性能。
• 识别在流式设置中面对严峻数据分布偏移时，能维持高性能的简单技术。

提出的方法

• 本研究采用顺序自监督预训练，模型随新数据批次的到达逐步更新，避免了为联合训练存储全部数据的需求。
• 使用四种具有不同程度分布偏移的独立数据序列，以评估在不同流式场景下的鲁棒性。
• 通过三个下游任务评估迁移性能，以衡量所学表征的质量。
• 应用参数正则化和数据重放等技术，以缓解顺序训练中的灾难性遗忘问题。
• 在相同的下游微调协议下，对顺序和联合预训练设置进行定量性能比较。
• 评估重点通过迁移学习准确率衡量表征质量，确保结果反映现实世界的适用性。

实验结果

研究问题

• RQ1 在流式设置中，当数据分布偏移较小时，顺序自监督预训练相较于联合预训练表现如何？
• RQ2 当流式数据面临较大分布偏移时，顺序训练能否维持具有竞争力的性能？
• RQ3 哪些简单的正则化技术能提升顺序自监督学习在分布偏移下的鲁棒性？
• RQ4 顺序自监督预训练是否是现实世界流式应用中联合训练的可行且高效的替代方案？

主要发现

• 当流式数据中的分布偏移较小时，顺序自监督预训练的迁移性能几乎与联合训练相同。
• 即使在较大的分布偏移下，通过参数正则化或数据重放的顺序训练，其性能仍可与联合训练相媲美。
• 在所有评估的下游任务中，顺序与联合训练之间的性能差距极小，表明顺序方法具有强大的泛化能力。
• 所提出的顺序方法相比联合训练显著降低了存储和计算开销，使其在现实世界部署中更具实用性。
• 如参数正则化和数据重放等简单正则化技术，在顺序更新过程中有效稳定了表征学习。
• 结果支持在流式环境中采用顺序自监督预训练作为比联合训练更高效且性能相当的替代方案。