[论文解读] Semi-Supervised Clustering with Contrastive Learning for Discovering New Intents

Wei Feng, Zhenbo Cheng+5 more|arXiv (Cornell University)|Jan 7, 2022

Speech and dialogue systems被引用 9

一句话总结

本文提出深度对比半监督聚类（DCSC），一种两阶段方法，通过利用已标注意图和对比学习，提升对话系统中发现新意图的文本聚类性能。通过联合优化表示学习与聚类分配，结合监督对比损失和伪标签，DCSC在Clinc和Banking数据集上达到当前最优性能，优于DeepAligned和SCL等先前方法在所有设置下的表现。

ABSTRACT

Most dialogue systems in real world rely on predefined intents and answers for QA service, so discovering potential intents from large corpus previously is really important for building such dialogue services. Considering that most scenarios have few intents known already and most intents waiting to be discovered, we focus on semi-supervised text clustering and try to make the proposed method benefit from labeled samples for better overall clustering performance. In this paper, we propose Deep Contrastive Semi-supervised Clustering (DCSC), which aims to cluster text samples in a semi-supervised way and provide grouped intents to operation staff. To make DCSC fully utilize the limited known intents, we propose a two-stage training procedure for DCSC, in which DCSC will be trained on both labeled samples and unlabeled samples, and achieve better text representation and clustering performance. We conduct experiments on two public datasets to compare our model with several popular methods, and the results show DCSC achieve best performance across all datasets and circumstances, indicating the effect of the improvements in our work.

研究动机与目标

• 解决在标注意图数据有限的情况下，任务导向对话系统中发现新意图的挑战。
• 通过半监督方式联合利用标注与未标注样本，提升文本聚类性能。
• 通过对比学习增强表征学习，同时联合优化聚类与嵌入空间。
• 开发一种稳健的端到端深度聚类框架，超越现有无监督与半监督方法。

提出的方法

• DCSC采用两阶段训练流程：首先在标注数据上使用交叉熵损失与监督对比损失进行预训练，随后在标注与未标注数据上结合伪标签进行微调。
• 模型采用BERT或MPNet作为主干编码器，生成上下文相关的句子嵌入。
• 在聚类阶段，伪标签按批次分配而非全局分配，实现高效且可微的优化。
• 对标注与未标注样本均应用对比学习，通过实例级别的正负样本采样提升表征质量。
• 监督对比损失在不同意图类别间施加边界约束，提升聚类可分性。
• 该框架联合优化表征学习与聚类分配，避免依赖K-Means等不可微聚类算法。

实验结果

研究问题

• RQ1 半监督聚类方法能否有效利用有限的已标注意图，提升未标注用户查询的聚类效果？
• RQ2 对比学习在低资源意图发现场景中如何增强表征学习？
• RQ3 联合优化表征与聚类是否优于分阶段或迭代式方法？
• RQ4 两阶段训练策略在准确率与鲁棒性方面，相较于端到端或基于K-Means的伪标签方法有何差异？

主要发现

• 在Clinc数据集上，DCSC在75%已知意图率下达到89.70%准确率、84.41%ARI与95.28%NMI，表现达到当前最优，使用BERT作为主干网络。
• 在Banking数据集上，DCSC在75%已知意图率下实现75.18%准确率、64.55%ARI与84.65%NMI，优于DeepAligned与SCL。
• 使用MPNet作为主干网络时，DCSC在Clinc数据集上于75%已知意图率下达到89.70%准确率与95.28%NMI，超越基于BERT的DCSC与SCL。
• 消融实验表明，聚类阶段的监督训练显著提升性能，尤其在已知意图率较高时更为明显。
• 即使不使用K-Means重聚类，DCSC仍优于DeepAligned，证明其可微端到端聚类优化的有效性。
• 模型展现出良好的鲁棒性与可扩展性，在两个数据集上所有已知意图比例（25%、50%、75%）下均保持一致的性能提升。