[论文解读] A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference

Shuang Li, Xuming Hu+4 more|arXiv (Cornell University)|May 31, 2022

Topic Modeling被引用 5

一句话总结

该论文提出 MultiSCL，一种用于低资源自然语言蕴含任务的多层级监督对比学习框架，通过联合优化句子级和样本对级对比学习目标，提升判别性表征学习能力。通过引入数据增强和跨注意力模块实现联合表征学习，MultiSCL 在低资源 NLI 基准测试中相较先前方法平均提升 3.1% 的准确率，并在跨领域适应任务中平均超越最先进模型 8.5%。

ABSTRACT

Natural Language Inference (NLI) is a growingly essential task in natural language understanding, which requires inferring the relationship between the sentence pairs (premise and hypothesis). Recently, low-resource natural language inference has gained increasing attention, due to significant savings in manual annotation costs and a better fit with real-world scenarios. Existing works fail to characterize discriminative representations between different classes with limited training data, which may cause faults in label prediction. Here we propose a multi-level supervised contrastive learning framework named MultiSCL for low-resource natural language inference. MultiSCL leverages a sentence-level and pair-level contrastive learning objective to discriminate between different classes of sentence pairs by bringing those in one class together and pushing away those in different classes. MultiSCL adopts a data augmentation module that generates different views for input samples to better learn the latent representation. The pair-level representation is obtained from a cross attention module. We conduct extensive experiments on two public NLI datasets in low-resource settings, and the accuracy of MultiSCL exceeds other models by 3.1% on average. Moreover, our method outperforms the previous state-of-the-art method on cross-domain tasks of text classification.

研究动机与目标

• 为应对自然语言蕴含任务中标签数据有限的挑战，通过改进低资源环境下的判别性表征学习能力。
• 解决现有模型在小样本数据环境下因对比信号不足而导致无法有效区分不同 NLI 类别的问题。
• 通过整合句子级与样本对级对比学习目标，提升语义表征学习能力。
• 通过多层级对比信号学习更鲁棒、更不变的表征，以提升零样本领域泛化能力。
• 评估数据增强与组件消融在低资源 NLI 场景下的有效性。

提出的方法

• MultiSCL 使用数据增强模块生成输入句子的多种视图，提升在低资源环境下的鲁棒性。
• 通过将蕴含和矛盾假设分别视为前提的正样本和负样本集合，实施句子级对比学习。
• 采用跨注意力机制学习句子对的联合表征，捕捉句子间的相互关系。
• 样本对级对比学习将同一 NLI 类别（蕴含、矛盾、中立）的句子对嵌入拉近，将不同类别的句子对嵌入推远。
• 联合优化句子级与样本对级对比学习目标，以提升表征的可分性。
• 通过监督对比损失进行微调，促使嵌入空间中同类样本紧凑、异类样本分离。

Figure 1: The overall view of MultiSCL. The left part is the main framework of our model. The right part is the detailed structure of Cross Attention module.

实验结果

研究问题

• RQ1 多层级对比学习能否提升低资源自然语言蕴含任务中的表征学习能力？
• RQ2 联合优化句子级与样本对级对比学习如何增强小样本环境下的模型泛化能力？
• RQ3 数据增强在低资源 NLI 中在多大程度上提升鲁棒性与性能？
• RQ4 MultiSCL 在跨不同 NLI 数据集的零样本领域适应任务中表现如何？
• RQ5 各组件（句子级、样本对级、数据增强）对整体性能提升的贡献程度如何？

主要发现

• 在两个公开数据集的低资源 NLI 基准测试中，MultiSCL 相较于先前最先进模型平均提升 3.1% 的准确率。
• 在跨领域文本分类任务中，MultiSCL 在六个领域适应设置下平均超越现有模型 8.5%。
• 在从 SciTail 到 SNLI 和 MNLI 的领域适应任务中，MultiSCL 分别取得 49.2% 和 51.4% 的准确率，分别超越之前最先进方法 10.1% 和 10.4%。
• 模型展现出强大的零样本迁移性能，尤其得益于句子级与样本对级对比信号的联合优化。
• 消融实验表明，句子级与样本对级对比学习均对性能提升有显著贡献，数据增强进一步增强了模型鲁棒性。
• 该框架在 SciTail 等差异较大的领域中表现优异，表明其具备强大的领域不变表征学习能力。

Figure 2: Visualization of the SNLI representations using t-SNE for MultiSCL (left) and MultiSCL w/o Cross Attention Module (right).