[论文解读] Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via Calibrated Dirichlet Prior RNN

Yilin Shen, Wenhu Chen+1 more|arXiv (Cornell University)|Oct 16, 2020

Topic Modeling参考文献 36被引用 4

一句话总结

本文提出了一种校准的狄利克雷先验RNN，通过在基于softmax的RNN中引入狄利克雷先验并利用多任务学习校准浓度参数，实现了无需未知概念标注的token级不确定性建模。该方法在Snips、ATIS和Concept Learning基准上实现了SOTA性能，将OOD概念检测的F1值最高提升了8.18%。

ABSTRACT

One major task of spoken language understanding (SLU) in modern personal assistants is to extract semantic concepts from an utterance, called slot filling. Although existing slot filling models attempted to improve extracting new concepts that are not seen in training data, the performance in practice is still not satisfied. Recent research collected question and answer annotated data to learn what is unknown and should be asked, yet not practically scalable due to the heavy data collection effort. In this paper, we incorporate softmax-based slot filling neural architectures to model the sequence uncertainty without question supervision. We design a Dirichlet Prior RNN to model high-order uncertainty by degenerating as softmax layer for RNN model training. To further enhance the uncertainty modeling robustness, we propose a novel multi-task training to calibrate the Dirichlet concentration parameters. We collect unseen concepts to create two test datasets from SLU benchmark datasets Snips and ATIS. On these two and another existing Concept Learning benchmark datasets, we show that our approach significantly outperforms state-of-the-art approaches by up to 8.18%. Our method is generic and can be applied to any RNN or Transformer based slot filling models with a softmax layer.

研究动机与目标

• 解决在无需标注未知概念数据的情况下，检测语音理解（SLU）中未知概念的挑战。
• 通过狄利克雷先验建模基于RNN的槽填充模型中的token级不确定性，实现对分布外（OOD）概念的检测。
• 通过多任务学习校准狄利克雷浓度参数，提升不确定性估计的鲁棒性。
• 开发一种适用于任何基于softmax的模型（包括Transformer和BERT）的通用方法。
• 在具有真实OOD概念检测场景的基准数据集上评估该方法。

提出的方法

• 通过在RNN训练过程中将狄利克雷先验退化为softmax层，引入狄利克雷先验RNN，保留模型架构的同时实现不确定性建模。
• 提出一种多任务学习目标，用于校准狄利克雷浓度参数，增强不确定性估计的鲁棒性。
• 利用话语语法结构（如依存树）引导提取高不确定性短语作为潜在的未知概念。
• 使用狄利克雷熵作为置信度分数，识别可能为未知概念的token。
• 应用不确定性校准以减少对未见OOD词的过度自信，尤其在OOV词存在时效果显著。
• 在标准槽填充数据上端到端训练模型，无需显式未知概念标注。

实验结果

研究问题

• RQ1 将狄利克雷先验集成到基于RNN的槽填充模型中，能否有效建模token级不确定性以实现未知概念检测？
• RQ2 对狄利克雷浓度参数进行多任务校准是否能提升不确定性估计的鲁棒性？
• RQ3 与SOTA基线相比，该方法在真实世界OOD概念检测中的表现如何？
• RQ4 引入话语语法结构在多大程度上提升了未知概念提取的效果？
• RQ5 该方法能否推广到其他模型，包括Transformer和BERT？

主要发现

• 在Concept Learning基准上，当结合狄利克雷熵与话语语法时，校准的狄利克雷先验RNN相比SOTA方法实现了5.04%的绝对F1提升。
• 在ATIS数据集上，该方法相比SOTA的F1提升了3.62%，在Snips上提升了5.41%。
• 在Concept Learning数据集上，该方法实现了最高8.18%的F1提升，尤其在新概念包含OOV词时表现更优。
• 狄利克雷熵优于基线不确定性度量方法，如dropout扰动、高斯噪声以及top候选词的方差。
• 在Concept Learning数据集中，语法信息的引入显著提升了性能，因为新概念多为名词短语；但在Snips和ATIS中影响有限，因这些数据集中概念多为单个词或非短语结构。
• 统计显著性检验表明，表现最佳的方法（校准先验RNN + 狄利克雷熵 + 语法信息）在所有数据集上均显著优于所有SOTA竞争方法（p值 < 0.01）。