[论文解读] CTP: Towards Vision-Language Continual Pretraining via Compatible Momentum Contrast and Topology Preservation

Hongguang Zhu, Yunchao Wei+3 more|arXiv (Cornell University)|Aug 14, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

本文提出 CTP，一种用于视觉-语言持续预训练（VLCP）的新方法，通过结合兼容性动量对比（Compatible Momentum Contrast）与拓扑保持（Topology Preservation），实现在不断扩展的视觉-语言数据上的高效、稳定且准确的持续学习。CTP 在 P9D 基准上实现了 50.53% 的 TR@1 和 70.63% 的 Rm，达到最先进性能，相比之前方法最高提升 5.76%，同时避免了内存开销。

ABSTRACT

Vision-Language Pretraining (VLP) has shown impressive results on diverse downstream tasks by offline training on large-scale datasets. Regarding the growing nature of real-world data, such an offline training paradigm on ever-expanding data is unsustainable, because models lack the continual learning ability to accumulate knowledge constantly. However, most continual learning studies are limited to uni-modal classification and existing multi-modal datasets cannot simulate continual non-stationary data stream scenarios. To support the study of Vision-Language Continual Pretraining (VLCP), we first contribute a comprehensive and unified benchmark dataset P9D which contains over one million product image-text pairs from 9 industries. The data from each industry as an independent task supports continual learning and conforms to the real-world long-tail nature to simulate pretraining on web data. We comprehensively study the characteristics and challenges of VLCP, and propose a new algorithm: Compatible momentum contrast with Topology Preservation, dubbed CTP. The compatible momentum model absorbs the knowledge of the current and previous-task models to flexibly update the modal feature. Moreover, Topology Preservation transfers the knowledge of embedding across tasks while preserving the flexibility of feature adjustment. The experimental results demonstrate our method not only achieves superior performance compared with other baselines but also does not bring an expensive training burden. Dataset and codes are available at https://github.com/KevinLight831/CTP.

研究动机与目标

• 为解决视觉-语言模型缺乏大规模、真实场景的持续预训练数据集的问题。
• 识别并分析视觉-语言持续预训练（VLCP）中的新挑战，包括固定维度嵌入和缺失对比样本。
• 提出一种内存高效、高性能的方法，实现在无灾难性遗忘情况下的稳定知识累积。
• 建立统一的基准 P9D，包含来自 9 个行业的超过 100 万张图像-文本对，以模拟真实世界中长尾分布、非平稳的数据流。

提出的方法

• 引入兼容性动量对比（CMC）模块，通过融合当前任务和先前任务模型的知识，动态更新动量编码器。
• 采用拓扑保持机制，维持跨任务的样本间关系一致性，保留嵌入空间的结构组织。
• 使用动量队列存储当前任务的负样本，稳定训练过程并减少遗忘。
• 对同模态相似性施加软约束，防止最大相似性干扰导致的性能下降。
• 通过统一损失函数联合优化图像、文本和多模态编码器，平衡模型的可塑性与稳定性。
• 无需存储旧数据即可实现持续预训练，在保持高性能的同时实现内存效率。

实验结果

研究问题

• RQ1 如何在不断到来的数据上有效且高效地微调视觉-语言模型，同时避免灾难性遗忘？
• RQ2 与传统类别增量学习相比，视觉-语言持续预训练面临哪些独特的关键挑战？
• RQ3 无记忆方法是否能在 VLCP 中实现与记忆缓冲方法相当的性能？
• RQ4 兼容性动量对比与拓扑保持如何协同提升持续视觉-语言学习中的模型稳定性和准确性？
• RQ5 所提出的 P9D 基准在多大程度上反映了真实世界的数据分布特征和长尾特性？

主要发现

• CTP 在 P9D 基准上实现 50.53% 的 TR@1 和 70.63% 的 Rm，当结合经验回放时，相比最强基线最高提升 5.76%。
• 消融实验证实，兼容性动量对比与拓扑保持均不可或缺，其中拓扑保持在 Rm 上贡献了 5.64% 的提升。
• 当两个组件联合使用时，mAP@1 提升 0.57%，Rm 提升 1.88%，表明二者具有协同增益效应。
• 动量队列略微提升性能，表明其在平滑训练过程和减少遗忘方面具有积极作用。
• 抑制同模态最大相似性至关重要——若省略此组件，性能显著下降，凸显其在保持准确相似性学习中的关键作用。
• CTP 在无需存储旧数据的情况下实现优越性能，证明其在内存效率和可扩展性方面优于记忆缓冲方法。