[论文解读] Learning Discriminative Representations and Decision Boundaries for Open Intent Detection

Hanlei Zhang, Hua Xu+2 more|arXiv (Cornell University)|Mar 11, 2022

Software Engineering Research被引用 5

一句话总结

该论文提出DA-ADB，一种用于开放意图检测的新框架，通过平衡经验风险与开放空间风险，学习距离感知的意图表征和自适应决策边界。该方法在三个基准数据集上实现了最先进性能，展现出在不同标注数据比例下的鲁棒性以及对未见意图的优越泛化能力。

ABSTRACT

Open intent detection is a significant problem in natural language understanding, which aims to identify the unseen open intent while ensuring known intent identification performance. However, current methods face two major challenges. Firstly, they struggle to learn friendly representations to detect the open intent with prior knowledge of only known intents. Secondly, there is a lack of an effective approach to obtaining specific and compact decision boundaries for known intents. To address these issues, this paper presents an original framework called DA-ADB, which successively learns distance-aware intent representations and adaptive decision boundaries for open intent detection. Specifically, we first leverage distance information to enhance the distinguishing capability of the intent representations. Then, we design a novel loss function to obtain appropriate decision boundaries by balancing both empirical and open space risks. Extensive experiments demonstrate the effectiveness of the proposed distance-aware and boundary learning strategies. Compared to state-of-the-art methods, our framework achieves substantial improvements on three benchmark datasets. Furthermore, it yields robust performance with varying proportions of labeled data and known categories.

研究动机与目标

• 为解决仅利用已知意图先验知识检测自然语言理解中开放（未见）意图的挑战。
• 在训练过程中不依赖开放意图数据，提升意图表征的判别能力。
• 学习紧凑而有效的决策边界，以平衡未知意图的拒绝与已知意图的准确分类。
• 确保在不同标注数据比例和已知意图类别数量下的鲁棒性能。

提出的方法

• 该框架采用距离感知对比损失，以增强嵌入空间中类内紧凑性与类间分离性。
• 提出一种新型损失函数，联合优化经验风险（已知意图准确率）与开放空间风险（未知意图拒绝率）。
• 通过每类使用软阈值激活的半径动态学习决策边界，该半径在训练过程中扩展以覆盖已知样本，同时避免对开放样本过拟合。
• 采用两阶段训练流程：首先学习判别性特征，然后通过风险平衡优化精炼决策边界。
• 该框架端到端可训练，验证阶段无需合成开放类别样本或访问未知意图数据。
• 利用深度神经网络提取上下文表征，随后采用具有自适应边距的基于度量的分类头。

实验结果

研究问题

• RQ1 如何在缺乏其分布先验知识的情况下，学习对未知意图鲁棒的意图表征？
• RQ2 在已知意图准确率与未知意图拒绝率之间，学习最优决策边界的最佳策略是什么？
• RQ3 能否通过统一框架同时提升表示学习与决策边界自适应，以实现开放意图检测？
• RQ4 所提出方法在数据可用性较低或已知意图类别数量变化时表现如何？

主要发现

• DA-ADB在三个基准数据集（Banking77、SNIPS和CLINC150）上实现最先进性能，优于现有SOTA方法，无论在已知意图准确率还是未知意图检测F1值上均表现更优。
• 该方法在不同标注数据比例下表现出更优鲁棒性，即使在仅20%标注数据时仍保持高性能，而许多基线方法性能显著下降。
• 通过最优半径Δ学习的决策边界始终优于固定或启发式边界（如1.25Δ），证实了风险平衡机制的有效性。
• 消融实验证实，将距离感知表示学习与自适应边界学习相结合可获得最佳性能，且两部分均对整体性能提升有显著贡献。
• 与后处理应用的OOD检测方法相比，DA-ADB表现更优，表明联合优化优于顺序应用。
• 边界学习过程收敛于经验风险与开放空间风险之间的平衡，半径初始扩展以覆盖已知样本，随后稳定以避免过度拒绝。