[论文解读] An Information Minimization Based Contrastive Learning Model for Unsupervised Sentence Embeddings Learning

Shaobin Chen, Jie Zhou+2 more|arXiv (Cornell University)|Sep 22, 2022

Topic Modeling被引用 5

一句话总结

本文提出 InforMin-CL，一种用于无监督句子嵌入的对比学习框架，通过将对比学习与重构目标相结合，最小化正样本对之间的冗余信息，从而降低熵。该方法在不修改主干网络的前提下，通过提升对齐性和表示质量，在14项下游任务中实现了最先进性能。

ABSTRACT

Unsupervised sentence embeddings learning has been recently dominated by contrastive learning methods (e.g., SimCSE), which keep positive pairs similar and push negative pairs apart. The contrast operation aims to keep as much information as possible by maximizing the mutual information between positive instances, which leads to redundant information in sentence embedding. To address this problem, we present an information minimization based contrastive learning (InforMin-CL) model to retain the useful information and discard the redundant information by maximizing the mutual information and minimizing the information entropy between positive instances meanwhile for unsupervised sentence representation learning. Specifically, we find that information minimization can be achieved by simple contrast and reconstruction objectives. The reconstruction operation reconstitutes the positive instance via the other positive instance to minimize the information entropy between positive instances. We evaluate our model on fourteen downstream tasks, including both supervised and unsupervised (semantic textual similarity) tasks. Extensive experimental results show that our InforMin-CL obtains a state-of-the-art performance.

研究动机与目标

• 解决无监督句子嵌入学习过程中正样本对间冗余信息的问题。
• 通过保留有用信息并丢弃噪声（如停用词、同义重述和风格变化）来提升下游任务性能。
• 开发一种与模型无关的方法，通过引入信息最小化原则来增强对比学习。
• 证明基于重构的信息最小化能有效降低正样本实例之间的熵。

提出的方法

• 该模型使用对比目标，最大化正样本对之间的互信息，使它们在嵌入空间中更接近。
• 引入重构目标，其中句子对的一个视图用于重构另一个，以最小化它们之间的信息熵。
• 重构任务通过促使模型仅学习最小共享表示，隐式实现信息最小化。
• 该方法通过极少的架构修改实现，与任何基于 BERT 的模型和对比学习框架兼容。
• 训练目标结合对比损失与重构损失，通过超参数 β 控制两者之间的权衡。
• 该方法与模型无关，无需微调或架构修改，仅需添加重构头即可。

实验结果

研究问题

• RQ1 通过重构实现的信息最小化是否能通过减少冗余信息来提升无监督句子嵌入的质量？
• RQ2 与标准对比学习相比，最小化正样本对之间熵对下游任务性能有何影响？
• RQ3 重构目标在多大程度上提升了句子表示的对齐性和均匀性？
• RQ4 一种基于对比与重构的简单、即插即用方法是否能在不修改架构的情况下实现最先进性能？
• RQ5 不同重构损失权重（β）对监督与无监督任务性能的影响如何？

主要发现

• InforMin-CL 在七项监督和七项无监督下游任务中均达到最先进性能，优于 SimCSE 及其他最先进方法。
• 当 β = 0.1 时，模型在平均监督任务上的斯皮尔曼等级相关系数为 86.96，在平均无监督任务上为 63.25。
• t-SNE 可视化显示，与 SimCSE 和 SCD 相比，InforMin-CL 生成的句子表示聚类更紧密、对齐性更好。
• 重构目标显著提升了对齐性（0.143），同时保持了良好的均匀性，从而提升了表示质量。
• 消融实验确认重构目标至关重要，若移除该目标，平均监督性能将从 86.96 降至 85.52。
• 该方法在不同批量大小下均表现稳健，最优性能出现在批量大小为 256 时，且在批量大小变化时始终表现出一致的性能提升。