[论文解读] Deep Open Intent Classification with Adaptive Decision Boundary

Hanlei Zhang, Hua Xu+1 more|arXiv (Cornell University)|Dec 18, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用 9

一句话总结

本文提出一种名为自适应决策边界（Adaptive Decision Boundary, ADB）的后处理方法，用于深度开放意图分类，该方法在不修改模型架构且无需开放意图样本的情况下，学习紧致的、与类别相关的球形决策边界。通过新型损失函数平衡经验风险与开放空间风险，ADB 同时提升了已知意图分类的准确率与开放意图检测性能，在三个基准数据集上优于最先进方法，尤其在低数据场景下表现更优。

ABSTRACT

Open intent classification is a challenging task in dialogue systems. On the one hand, it should ensure the quality of known intent identification. On the other hand, it needs to detect the open (unknown) intent without prior knowledge. Current models are limited in finding the appropriate decision boundary to balance the performances of both known intents and the open intent. In this paper, we propose a post-processing method to learn the adaptive decision boundary (ADB) for open intent classification. We first utilize the labeled known intent samples to pre-train the model. Then, we automatically learn the adaptive spherical decision boundary for each known class with the aid of well-trained features. Specifically, we propose a new loss function to balance both the empirical risk and the open space risk. Our method does not need open intent samples and is free from modifying the model architecture. Moreover, our approach is surprisingly insensitive with less labeled data and fewer known intents. Extensive experiments on three benchmark datasets show that our method yields significant improvements compared with the state-of-the-art methods. The codes are released at https://github.com/thuiar/Adaptive-Decision-Boundary.

研究动机与目标

• 为解决对话系统中开放意图分类的挑战，即在无先验知识的情况下检测未知意图。
• 克服现有方法依赖负样本或开放意图样本以选择阈值或边界的问题。
• 开发一种后处理方法，为已知意图类别学习自适应决策边界，以提升开放意图的检测能力。
• 在保持已知意图分类高性能的同时，有效识别未知意图，即使标注数据有限。
• 消除对模型架构修改及人工超参数调优决策边界的依赖。

提出的方法

• 使用标准 Softmax 损失在标注的已知意图样本上微调基于 BERT 的模型。
• 定义类别特定的中心点，并通过可学习激活函数在标准正态分布上初始化决策边界半径。
• 提出一种边界损失函数，以平衡经验风险（已知意图分类）与开放空间风险（未知意图检测）。
• 通过反向传播优化边界半径，为每个已知意图类别学习到紧致且自适应的球形决策边界。
• 在推理阶段使用学习到的决策边界，将输入分类为已知意图或开放意图类别。
• 该方法与模型无关，作为后处理步骤运行，无需对原始神经网络架构进行任何修改。

实验结果

研究问题

• RQ1 后处理方法能否在无需开放意图样本的情况下，学习自适应决策边界以提升开放意图分类性能？
• RQ2 平衡经验风险与开放空间风险如何影响已知意图与开放意图分类的性能？
• RQ3 在已知意图类别较少的低数据场景下，该方法的泛化能力如何？
• RQ4 该方法能否在不依赖负样本或模型修改的情况下，超越最先进方法的性能？
• RQ5 该方法对已知类别数量和训练数据规模变化的鲁棒性如何？

主要发现

• 所提出的 ADB 方法在三个开放意图分类基准数据集上显著优于最先进方法。
• 在所有三个数据集上，ADB 在已知意图准确率和开放意图检测 F1 分数上均优于基线方法。
• 即使在标注样本较少和已知意图类别较少的情况下，该方法仍保持强劲性能，展现出高数据效率。
• ADB 学习到的自适应决策边界在区分开放意图与已知意图方面，优于固定阈值或基于统计推导的阈值。
• 该方法对超参数选择不敏感，因其通过所提出的损失函数自动学习最优边界，表现出强鲁棒性。
• 大量消融实验验证了边界损失能有效平衡经验风险与开放空间风险，从而提升泛化能力。