[论文解读] An Unsupervised Sentence Embedding Method byMutual Information Maximization

Yan Zhang, Ruidan He+3 more|arXiv (Cornell University)|Sep 25, 2020

Topic Modeling参考文献 45被引用 5

一句话总结

该论文提出了一种轻量级、自监督的方法，通过最大化句子对之间的互信息，在无需标注数据的情况下学习有意义的句子嵌入，实现了无监督语义文本相似度和下游任务的最先进性能，甚至在低资源领域中优于SBERT。

ABSTRACT

BERT is inefficient for sentence-pair tasks such as clustering or semantic search as it needs to evaluate combinatorially many sentence pairs which is very time-consuming. Sentence BERT (SBERT) attempted to solve this challenge by learning semantically meaningful representations of single sentences, such that similarity comparison can be easily accessed. However, SBERT is trained on corpus with high-quality labeled sentence pairs, which limits its application to tasks where labeled data is extremely scarce. In this paper, we propose a lightweight extension on top of BERT and a novel self-supervised learning objective based on mutual information maximization strategies to derive meaningful sentence embeddings in an unsupervised manner. Unlike SBERT, our method is not restricted by the availability of labeled data, such that it can be applied on different domain-specific corpus. Experimental results show that the proposed method significantly outperforms other unsupervised sentence embedding baselines on common semantic textual similarity (STS) tasks and downstream supervised tasks. It also outperforms SBERT in a setting where in-domain labeled data is not available, and achieves performance competitive with supervised methods on various tasks.

研究动机与目标

• 解决BERT在句子对任务中因组合对评估而导致的效率低下问题。
• 克服SBERT对高质量标注句子对的依赖，从而在低资源环境下提升适用性。
• 开发一种在领域特定、无标注语料上有效工作的自监督句子嵌入方法。
• 在无需标注数据的情况下，提升无监督语义文本相似度和下游任务的性能。

提出的方法

• 通过轻量级适配器模块扩展BERT，以学习句子级别的表示。
• 提出一种基于句子对之间互信息最大化的新型自监督学习目标。
• 使用对比学习原则进行模型训练，以对齐语义相似的句子并分离语义不同的句子。
• 使用动量编码器在自监督预训练过程中稳定训练动态。
• 利用互信息目标学习鲁棒的句子表示，无需人工标注的句子对。
• 通过基于互信息估计的对比损失，端到端优化模型。

实验结果

研究问题

• RQ1 互信息最大化能否被有效用于无监督方式下学习句子嵌入？
• RQ2 与现有无监督句子嵌入基线方法相比，该方法在语义文本相似度任务中的表现如何？
• RQ3 在标注数据稀缺的低资源领域中，该方法的泛化能力如何？
• RQ4 在缺乏领域内标注数据的情况下，该方法能否实现与监督方法（如SBERT）相当的性能？

主要发现

• 所提出的方法在标准语义文本相似度（STS）基准上显著优于现有无监督句子嵌入基线方法。
• 在各种下游任务中，其性能可与监督方法相媲美，甚至在无任何标注数据的情况下也表现优异。
• 在缺乏领域内标注数据的设置中，该方法优于SBERT，展现出更优的零样本泛化能力。
• 该模型在无监督STS任务上取得了最先进结果，验证了互信息最大化在自监督学习中的有效性。
• 该方法高效且可扩展，避免了BERT在句子对应用中的组合计算开销。
• 由于其无监督特性且不依赖标注对，该方法在不同领域特定语料上均表现出良好的泛化能力。