[论文解读] Discovering New Intents via Constrained Deep Adaptive Clustering with Cluster Refinement

Ting-En Lin, Hua Xu+1 more|arXiv (Cornell University)|Nov 20, 2019

Topic Modeling参考文献 27被引用 13

一句话总结

该论文提出CDAC+，一种端到端聚类方法，通过整合有限标注数据中的成对约束并利用高置信度分配对聚类进行精炼，使其对聚类数量不敏感。通过联合优化表示学习与聚类分配，结合精炼的约束深度聚类，该方法在三个基准数据集上实现了最先进性能。

ABSTRACT

Identifying new user intents is an essential task in the dialogue system. However, it is hard to get satisfying clustering results since the definition of intents is strongly guided by prior knowledge. Existing methods incorporate prior knowledge by intensive feature engineering, which not only leads to overfitting but also makes it sensitive to the number of clusters. In this paper, we propose constrained deep adaptive clustering with cluster refinement (CDAC+), an end-to-end clustering method that can naturally incorporate pairwise constraints as prior knowledge to guide the clustering process. Moreover, we refine the clusters by forcing the model to learn from the high confidence assignments. After eliminating low confidence assignments, our approach is surprisingly insensitive to the number of clusters. Experimental results on the three benchmark datasets show that our method can yield significant improvements over strong baselines.

研究动机与目标

• 解决开放域对话系统中意图分类体系未知且未标注数据存在噪声时发现新用户意图的挑战。
• 克服现有方法依赖密集特征工程且对聚类数量敏感的局限性。
• 开发一种端到端聚类框架，利用预训练语言模型和有限标注数据作为先验知识，指导聚类过程。
• 通过高置信度预测进行聚类精炼，提升聚类鲁棒性，降低对超参数（如聚类数量）选择的敏感性。

提出的方法

• 使用BERT提取对话数据中话语的上下文表示。
• 利用从标注数据或动态相似度阈值导出的相似性标签，构建成对分类任务以指导聚类。
• 引入成对约束作为先验知识，约束聚类过程，替代人工特征工程。
• 采用目标分布和Kullback-Leibler散度损失，促使模型在训练过程中聚焦于高置信度的聚类分配。
• 通过迭代移除低置信度分配实现聚类精炼，从而获得更稳定、更准确的聚类结构。
• 以端到端方式联合优化意图表示与聚类分配，实现表示学习与聚类的联合优化。

实验结果

研究问题

• RQ1 深度聚类方法是否能在不依赖大量特征工程的情况下有效发现新用户意图？
• RQ2 将有限标注数据作为成对约束引入，能否提升开放域意图发现中的聚类性能？
• RQ3 基于高置信度分配的聚类精炼在多大程度上降低了对预设聚类数量的敏感性？
• RQ4 在未知意图比例、类别不平衡和低标注数据比例等挑战性条件下，该方法表现如何？

主要发现

• CDAC+在三个基准数据集（SNIPS、DBPedia、StackOverflow）上显著优于强基线方法，包括DAC、CDAC-KM和BERT-Semi。
• 即使预设聚类数量增加至真实值的四倍，CDAC+仍保持高性能，表明其对聚类数量不敏感。
• 在StackOverflow数据集上，仅使用0.01%的标注数据比例，CDAC+的性能仍优于BERT-Semi，表明其在低监督设置下具有更强泛化能力。
• 在未知类别比例高达75%的情况下，CDAC+保持鲁棒性，而BERT-Semi因对实例级约束过拟合导致性能急剧下降。
• 在类别不平衡数据集上，CDAC+优于在平衡数据上训练的基线方法，即使在极低保留概率（γ = 0.1）下性能下降也极小。
• t-SNE可视化表明，CDAC+学习到紧凑且高度分离的意图表示；混淆矩阵显示，即使对先前未见的意图（如BookRestaurant和SearchCreativeWork）也能实现准确聚类。