[论文解读] An Effective Deployment of Contrastive Learning in Multi-label Text Classification

Nankai Lin, Guanqiu Qin+3 more|arXiv (Cornell University)|Dec 1, 2022

Text and Document Classification Technologies被引用 6

一句话总结

本论文提出了五种新颖的对比学习损失函数——严格对比损失（SCL）、同标签对比损失（ICL）、Jaccard相似度对比损失（JSCL）、Jaccard相似度概率对比损失（JSPCL）以及分步标签对比损失（SLCL），以提升多标签文本分类中的语义表征。在多标签情感分析与新闻分类任务上的实验表明，SCL与JSCL取得了当前最优的性能表现，其中SCL在西班牙语数据集上达到55.88 F1-macro与63.70 F1-micro，JSCL在印度尼西亚语数据集上达到74.29 F1-macro与85.27 F1-micro。

ABSTRACT

The effectiveness of contrastive learning technology in natural language processing tasks is yet to be explored and analyzed. How to construct positive and negative samples correctly and reasonably is the core challenge of contrastive learning. It is even harder to discover contrastive objects in multi-label text classification tasks. There are very few contrastive losses proposed previously. In this paper, we investigate the problem from a different angle by proposing five novel contrastive losses for multi-label text classification tasks. These are Strict Contrastive Loss (SCL), Intra-label Contrastive Loss (ICL), Jaccard Similarity Contrastive Loss (JSCL), Jaccard Similarity Probability Contrastive Loss (JSPCL), and Stepwise Label Contrastive Loss (SLCL). We explore the effectiveness of contrastive learning for multi-label text classification tasks by the employment of these novel losses and provide a set of baseline models for deploying contrastive learning techniques on specific tasks. We further perform an interpretable analysis of our approach to show how different components of contrastive learning losses play their roles. The experimental results show that our proposed contrastive losses can bring improvement to multi-label text classification tasks. Our work also explores how contrastive learning should be adapted for multi-label text classification tasks.

研究动机与目标

• 为解决多标签文本分类中因标签重叠导致语义表征模糊、类别边界模糊的问题。
• 探究如何通过设计新型对比损失函数，有效适配对比学习于多标签文本分类任务。
• 为在多标签文本分类任务中部署对比学习提供一组基线模型与损失函数。
• 开展可解释性分析，探究不同对比损失组件对语义空间聚类与判别性的影响。
• 在多个多标签文本分类基准（包括情感分析与新闻分类）上评估对比学习的有效性。

提出的方法

• 提出严格对比损失（SCL），基于标签完全匹配严格配对正负样本，以增强语义聚类的紧凑性。
• 引入同标签对比损失（ICL），鼓励共享相同标签的样本之间特征相似，提升类内紧凑性。
• 开发Jaccard相似度对比损失（JSCL），利用标签集合之间的Jaccard相似度定义正样本，提升对标签重叠的鲁棒性。
• 提出Jaccard相似度概率对比损失（JSPCL），使用Jaccard相似度建模正样本概率，实现概率化对比学习。
• 提出分步标签对比损失（SLCL），基于标签基数分步应用对比学习，降低高重叠标签带来的噪声影响。
• 采用T-SNE可视化与Calinski-Harbasz聚类分数，对不同损失函数下学习到的语义表征质量进行可解释性分析。

实验结果

研究问题

• RQ1 在标签共现导致正负样本定义模糊的多标签文本分类中，如何有效适配对比学习？
• RQ2 在严格型、同标签型或基于Jaccard相似度的对比损失设计中，哪一种能为多标签文本分类提供最有效的语义表征？
• RQ3 不同对比损失在多大程度上提升了语义空间中的聚类质量与类间判别性？
• RQ4 对比学习在不同多标签文本分类基准（如情感分析与新闻分类）上的性能表现如何？
• RQ5 对学习到的语义空间进行可解释性分析，能否验证每种对比损失在增强类别边界清晰度方面的有效性？

主要发现

• SCL在多标签维度上取得最高的Calinski-Harbasz分数（25.14），表明其在语义空间中具有更优的聚类质量与类间分离度。
• JSCL在单标签维度上取得最高的Calinski-Harbasz分数（200.48），表明其在单个标签类内紧凑性方面表现强劲。
• 在西班牙语数据集上，JSCL取得55.62 F1-macro与63.45 F1-micro，优于SpanEmo（55.49 F1-macro），并创下新的SOTA记录。
• 在印度尼西亚语数据集上，SCL取得74.29 F1-macro与85.27 F1-micro，超过SpanEmo（71.62 F1-macro），并确立新的SOTA性能。
• SCL与JSCL均显著提升了语义表征质量，T-SNE可视化结果表明其聚类更紧密，类别边界更清晰。
• SLCL虽在边界清晰度方面表现较弱，但性能稳定，表明其在处理高基数标签样本方面具有实用价值。