[论文解读] CAPT: Contrastive Pre-Training for Learning Denoised Sequence Representations

Fuli Luo, Pengcheng Yang+3 more|arXiv (Cornell University)|Oct 13, 2020

Multimodal Machine Learning Applications参考文献 38被引用 14

一句话总结

CAPT 提出了一种对比预训练框架，通过强制原始输入序列与损坏输入序列之间的语义一致性，学习对噪声不变的序列表征。通过应用实例级对比损失，它减少了预训练与微调之间的差异，并改善了全局语义建模，在 NLP 和视觉-语言任务上，GLUE 和 NLVR² 的性能均实现了稳定的提升，分别提升了 0.6% 和 0.8%。

ABSTRACT

Pre-trained self-supervised models such as BERT have achieved striking success in learning sequence representations, especially for natural language processing. These models typically corrupt the given sequences with certain types of noise, such as masking, shuffling, or substitution, and then try to recover the original input. However, such pre-training approaches are prone to learning representations that are covariant with the noise, leading to the discrepancy between the pre-training and fine-tuning stage. To remedy this, we present ContrAstive Pre-Training (CAPT) to learn noise invariant sequence representations. The proposed CAPT encourages the consistency between representations of the original sequence and its corrupted version via unsupervised instance-wise training signals. In this way, it not only alleviates the pretrain-finetune discrepancy induced by the noise of pre-training, but also aids the pre-trained model in better capturing global semantics of the input via more effective sentence-level supervision. Different from most prior work that focuses on a particular modality, comprehensive empirical evidence on 11 natural language understanding and cross-modal tasks illustrates that CAPT is applicable for both language and vision-language tasks, and obtains surprisingly consistent improvement, including 0.6\% absolute gain on GLUE benchmarks and 0.8\% absolute increment on $ ext{NLVR}^2$.

研究动机与目标

• 解决自监督预训练中因表示对噪声敏感而引起的预训练-微调差异问题。
• 通过引入更有效的句子级监督，改善全局语义建模。
• 开发一种适用于自然语言和视觉-语言任务的可泛化预训练方法。
• 减少对位置依赖性监督（如下一句预测）的依赖，此类监督可能引入弱或混淆的梯度。
• 使预训练模型能够学习对常见损坏操作（如掩码或乱序）具有不变性的表征。

提出的方法

• 对输入序列应用标准的损坏操作（如掩码）以生成损坏版本。
• 使用预训练模型（如 BERT、RoBERTa）将原始序列和损坏序列编码为隐藏表征。
• 通过聚合层（如平均池化或分类标记）获取全局序列级表征。
• 制定对比损失，使同一实例的原始与损坏版本在嵌入空间中更接近。
• 将不同实例的表征（负样本对）相互推开，以强化判别性特征学习。
• 引入两种辅助方法，以增强对噪声集中特征和多样化特征的学习，提升模型的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 对比学习能否减少自监督预训练中因表示对噪声敏感而引起的预训练-微调差异？
• RQ2 与基于 token 或片段级别的任务相比，实例级对比监督是否能更好地提升全局语义建模？
• RQ3 所提出的 CAPT 框架能否在自然语言和视觉-语言任务中实现良好泛化？
• RQ4 在下游性能方面，CAPT 与标准预训练目标（如 MLM、MRM）相比表现如何？
• RQ5 CAPT 是否能在不显著增加训练成本的前提下，提升模型的鲁棒性与泛化能力？

主要发现

• CAPT 将 RoBERTa 在 GLUE 开发集上的性能从 88.9% 提升至 89.5%，实现了 0.6% 的绝对提升。
• 在 NLVR² 基准上，CAPT 比 LXMERT 提升 0.8%，展现出在视觉-语言理解任务中的强劲优势。
• CAPT 在 11 项多样化任务中均实现一致提升，涵盖 8 项自然语言理解任务和 3 项跨模态任务。
• 该方法通过学习对掩码等常见损坏操作具有不变性的表征，减少了预训练-微调差异。
• CAPT 通过提供强于位置依赖性任务（如下一句预测）的句子级监督，增强了全局语义建模能力。
• 对比目标在无需额外标注数据或显著增加训练成本的前提下，实现了更优的特征学习。