[论文解读] Generalized Intent Discovery: Learning from Open World Dialogue System

Yutao Mou, Keqing He+7 more|arXiv (Cornell University)|Sep 13, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文提出广义意图发现（GID），这是一种新型任务，使域内（IND）意图分类器能够同时对已标注的域内（IND）意图进行分类，并逐步发现未标注的域外（OOD）意图类型。作者提出了基于流水线和端到端的两种框架，采用通过增强视图进行伪标签化的自监督对比学习与Sinkhorn-Knopp算法，实现在三个公开GID基准数据集上的性能提升，这些数据集使用真实对话数据。

ABSTRACT

Traditional intent classification models are based on a pre-defined intent set and only recognize limited in-domain (IND) intent classes. But users may input out-of-domain (OOD) queries in a practical dialogue system. Such OOD queries can provide directions for future improvement. In this paper, we define a new task, Generalized Intent Discovery (GID), which aims to extend an IND intent classifier to an open-world intent set including IND and OOD intents. We hope to simultaneously classify a set of labeled IND intent classes while discovering and recognizing new unlabeled OOD types incrementally. We construct three public datasets for different application scenarios and propose two kinds of frameworks, pipeline-based and end-to-end for future work. Further, we conduct exhaustive experiments and qualitative analysis to comprehend key challenges and provide new guidance for future GID research.

研究动机与目标

• 为解决传统意图分类模型在真实部署中无法识别新出现的、未见过的域外（OOD）意图类型的问题。
• 提出一项新任务——广义意图发现（GID），使模型在保持对已标注域内（IND）意图分类性能的同时，能够增量发现未标注的域外（OOD）意图类型。
• 构建三个公开基准数据集——单域、多域和跨域，以覆盖开放世界对话系统中多样化应用场景。
• 开发并评估两种框架范式：基于流水线和端到端，以实现域内与域外意图学习的联合优化。
• 识别并分析GID中的关键挑战，如细粒度域外类型、领域差异、数据不平衡和域外噪声，以指导未来研究。

提出的方法

• 提出一种基于流水线的框架，首先对未标注的OOD数据进行聚类以生成伪标签，然后联合训练已标注的IND数据与伪标签化的OOD数据。
• 引入一种端到端框架，通过统一的目标函数联合优化IND分类与OOD伪标签生成。
• 采用对比学习策略，结合视图增强技术，为同一OOD样本生成一致的表示，从而实现可靠的伪标签预测。
• 使用Sinkhorn-Knopp（SK）算法求解可微分最优传输问题，为OOD样本分配软伪标签。
• 通过增强视图之间的互预测机制生成伪标签，而无需依赖真实的OOD标签。
• 端到端训练模型，采用联合损失函数，结合IND类别的监督交叉熵损失与OOD聚类的对比损失。

实验结果

研究问题

• RQ1 如何将意图分类器扩展为在单一统一框架中同时识别已标注的域内（IND）意图与未标注的域外（OOD）意图类型？
• RQ2 广义意图发现（GID）中的关键挑战（如领域漂移、数据不平衡和噪声OOD样本）是什么，它们如何影响模型性能？
• RQ3 基于流水线与端到端框架在发现新型OOD意图类型方面，其性能与鲁棒性如何比较？
• RQ4 自监督对比学习结合视图增强与Sinkhorn-Knopp优化，能否有效生成可靠的OOD意图发现伪标签？
• RQ5 GID在现实对话系统中对持续系统改进具有何种实际意义，特别是在用户查询不断演变的场景下？

主要发现

• 端到端框架优于基于流水线的方法，因其能更好地将OOD发现与IND分类整合，减少由噪声伪标签引起的误差传播。
• 细粒度OOD意图类型构成重大挑战，因其与现有IND意图在语义上高度相似，易被误分类或错误聚类。
• 训练与推理数据之间的领域差异导致性能下降，尤其当OOD数据来自与IND训练集不同的领域时更为明显。
• IND与OOD类别间的数据不平衡对模型泛化能力产生负面影响，代表性不足的OOD类型更难被发现。
• 真实世界的OOD噪声（如模糊或误分类的查询）显著影响聚类质量与模型鲁棒性。
• 正确估计OOD意图类型的数量仍是一个关键挑战，过高或过低的估计均会导致聚类与分类性能下降。