[论文解读] Discovering New Intents with Deep Aligned Clustering

Hanlei Zhang, Hua Xu+2 more|arXiv (Cornell University)|Dec 16, 2020

Speech and dialogue systems被引用 5

一句话总结

本文提出 Deep Aligned Clustering 方法，利用有限的已知意图标注数据，在对话系统中发现新意图。通过在已知意图数据上进行预训练，使用 k-means 进行伪标签生成，并应用一种对齐策略以在各训练周期间稳定聚类分配，模型学习到鲁棒且适合聚类的表示，并通过过滤低置信度聚类来估计新意图类别的数量，在基准数据集上达到最先进性能。

ABSTRACT

Discovering new intents is a crucial task in dialogue systems. Most existing methods are limited in transferring the prior knowledge from known intents to new intents. They also have difficulties in providing high-quality supervised signals to learn clustering-friendly features for grouping unlabeled intents. In this work, we propose an effective method, Deep Aligned Clustering, to discover new intents with the aid of the limited known intent data. Firstly, we leverage a few labeled known intent samples as prior knowledge to pre-train the model. Then, we perform k-means to produce cluster assignments as pseudo-labels. Moreover, we propose an alignment strategy to tackle the label inconsistency problem during clustering assignments. Finally, we learn the intent representations under the supervision of the aligned pseudo-labels. With an unknown number of new intents, we predict the number of intent categories by eliminating low-confidence intent-wise clusters. Extensive experiments on two benchmark datasets show that our method is more robust and achieves substantial improvements over the state-of-the-art methods. The codes are released at https://github.com/thuiar/DeepAligned-Clustering.

研究动机与目标

• 解决在仅有少量已知意图标注样本可用时，对话系统中发现新用户意图的挑战。
• 通过将已知意图的先验知识迁移至包含已知和新意图的未标注数据，提升聚类性能。
• 生成在训练周期间保持一致的高质量伪标签，用于自监督表示学习。
• 通过剔除低置信度聚类，自动估计新意图类别的数量。

提出的方法

• 在少量已知意图标注样本上微调预训练的 BERT 模型，使用 softmax 损失获取初始特征表示。
• 对编码的意图特征执行 k-means 聚类，生成用于自监督训练的伪标签。
• 引入一种对齐策略，学习一个投影矩阵 G，以对齐连续训练周期之间的聚类中心，减少标签不一致性。
• 使用对齐后的伪标签作为监督信号训练模型，保留历史学习信息并提升表示质量。
• 通过迭代剔除 k-means 输出中置信度分数较低的聚类，估计意图类别数量。
• 在推理阶段再次执行 k-means，获得最终的意图聚类分配。

实验结果

研究问题

• RQ1 在无监督设置下，能否有效利用有限的已知意图标注数据来引导新意图的发现？
• RQ2 如何在训练周期之间稳定 k-means 聚类产生的不一致伪标签，以改善表示学习？
• RQ3 能否在不了解真实类别数量的前提下，准确估计新意图类别的数量？
• RQ4 与随机重初始化相比，所提出的对齐策略在聚类性能和鲁棒性方面表现如何？
• RQ5 该方法对已知意图类别数量和初始聚类数 K' 的变化有多敏感？

主要发现

• 所提方法在两个基准数据集上显著优于最先进方法，展现出在意图发现任务中更优的鲁棒性和准确性。
• 对齐策略相比重初始化带来显著性能提升，尤其在低数据场景下，通过在各周期间保留学习到的特征信息实现。
• 在不同已知意图比例（25%、50%、75%）下，该方法均以极低误差率估计意图类别数量，优于 BERT-MCL 和 BERT-DTC 等基线方法。
• 即使初始聚类数 K' 较大（最高为真实数量的四倍），该方法仍保持鲁棒，而其他方法在该条件下性能显著下降。
• 当已知意图数量较少时，该方法性能稳定且更优，而其他依赖先验知识的方法则因偏向已标注数据而产生偏差。