[论文解读] ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer

Yuanmeng Yan, Rumei Li+4 more|arXiv (Cornell University)|May 25, 2021

Topic Modeling参考文献 36被引用 47

一句话总结

ConSERT 在 BERT 上进行对比学习目标和数据增强微调，以修复崩溃的句子表示，在无监督和有监督设定下达到STS最先进的性能，并在数据稀缺场景下具有鲁棒性。

ABSTRACT

Learning high-quality sentence representations benefits a wide range of natural language processing tasks. Though BERT-based pre-trained language models achieve high performance on many downstream tasks, the native derived sentence representations are proved to be collapsed and thus produce a poor performance on the semantic textual similarity (STS) tasks. In this paper, we present ConSERT, a Contrastive Framework for Self-Supervised Sentence Representation Transfer, that adopts contrastive learning to fine-tune BERT in an unsupervised and effective way. By making use of unlabeled texts, ConSERT solves the collapse issue of BERT-derived sentence representations and make them more applicable for downstream tasks. Experiments on STS datasets demonstrate that ConSERT achieves an 8\% relative improvement over the previous state-of-the-art, even comparable to the supervised SBERT-NLI. And when further incorporating NLI supervision, we achieve new state-of-the-art performance on STS tasks. Moreover, ConSERT obtains comparable results with only 1000 samples available, showing its robustness in data scarcity scenarios.

研究动机与目标

• 动机：强调需要高质量的句子表示，超越原生 BERT 嵌入，因为语义空间的崩塌。
• 提出一种对比自监督微调框架，在不增加推理成本的情况下重塑句子表示。
• 探索数据增强策略，以生成对比学习的视图对。
• 展示在无监督微调和增强监督信号（如 NLI）下的有效性。
• 展示在少样本数据情境中的鲁棒性并分析嵌入空间的变化。

提出的方法

• 在共享的 BERT 编码器之上采用类似 SimCLR 的对比目标（NT-Xent）。
• 通过在 token 嵌入层应用的数据增强为每个句子生成两个视图。
• 通过对最后一层的 token 嵌入取均值来获得句子表示，随后应用对比损失，将同一词句的视图拉近、将同批次中的其他视图推远。
• 探索四种增强策略：对抗攻击（仅监督）、token 打乱、token/特征截断、以及 dropout。
• 可选地通过 NLI 将监督信号并入，采用 joint、sup-unsup 或 joint-unsup 训练方案。
• 使用 Spearman 相关系数报告 STS 数据集上的性能；并给出对增强、超参数的消融分析。

实验结果

研究问题

• RQ1 对比自监督学习能否克服 BERT 的句子表示崩塌，以用于 STS 任务？
• RQ2 不同数据增强策略如何影响无监督的句子迁移性能？
• RQ3 将监督信号（例如 NLI）与无监督迁移结合，是否能在 STS 任务上达到最先进的结果？
• RQ4 在数据稀缺场景（少量无标签样本）下，ConSERT 对下游 STS 任务有多鲁棒？

主要发现

• ConSERT large 在无监督 STS 任务中实现最佳性能，平均相对增益比 BERT-flow 高出 8% 。
• ConSERT large 超越了若干有监督基线，在无监督设置下与 SBERT-NLI 竞争。
• 与 NLI 监督的联合/无监督迁移在有监督设定下达到新的 STS 业界最佳水平。
• 仅用 1000 个无标签样本，ConSERT 仍然鲁棒并接近全数据性能；少样本结果相对于基线具有显著提升。
• 数据增强策略 Shuffle 和 Token Cutoff 尤其有效；与 Feature Cutoff 组合可提升性能。
• 嵌入空间分析表明 ConSERT 减少了对频繁标记的支配，缓解了崩塌。