[论文解读] Benchmarking Natural Language Understanding Services for building Conversational Agents

Xingkun Liu, Arash Eshghi+2 more|arXiv (Cornell University)|Mar 13, 2019

Topic Modeling参考文献 2被引用 88

一句话总结

本论文在25,716个 utterances 的跨平台数据集上对四个 NLU 服务（Rasa、Dialogflow、LUIS、Watson）进行了大规模评测，数据集涵盖21个领域、64个意图和54个实体类型，比较了它们的意图与实体识别性能。研究发现 Watson 在意图方面表现出色但在实体识别方面较弱，而 Dialogflow、LUIS 和 Rasa 则展现出更均衡的结果。

ABSTRACT

We have recently seen the emergence of several publicly available Natural Language Understanding (NLU) toolkits, which map user utterances to structured, but more abstract, Dialogue Act (DA) or Intent specifications, while making this process accessible to the lay developer. In this paper, we present the first wide coverage evaluation and comparison of some of the most popular NLU services, on a large, multi-domain (21 domains) dataset of 25K user utterances that we have collected and annotated with Intent and Entity Type specifications and which will be released as part of this submission. The results show that on Intent classification Watson significantly outperforms the other platforms, namely, Dialogflow, LUIS and Rasa; though these also perform well. Interestingly, on Entity Type recognition, Watson performs significantly worse due to its low Precision. Again, Dialogflow, LUIS and Rasa perform well on this task.

研究动机与目标

• 提供对流行 NLU 服务用于构建对话代理的广覆盖、无偏见评估。
• 发布一个大规模标注的 NLU 数据集，以便在多个领域上进行基准测试。
• 比较平台在意图分类和命名实体识别（NER）上的性能。
• 识别各平台的优缺点，以帮助开发者在工具选择中作出决策。

提出的方法

• 组装一个包含25,716个话语、跨21个领域，注释有64个 intents 和54个实体类型的大型多领域数据集。
• 通过 Amazon Mechanical Turk 进行众包数据收集，并手动纠正标注不一致。
• 使用10折交叉验证对四种 NLU 服务（Rasa、Dialogflow、LUIS、Watson）进行评估，并采用平台特定的训练配置。
• 对 intents 和 entities 使用微平均的精确度、召回率和 F1，并进行成对 t 检验以评估显著性。

实验结果

研究问题

• RQ1 四种 NLU 服务在将 Intent 与 Entity Type 任务结合时的总体 F1 上有何比较？
• RQ2 在 Intent 分类与 Entity Type 识别的精确度、召回率和 F1 上，这些服务有何差异？
• RQ3 Dialogflow、LUIS、Rasa 与 Watson 在 intents 与 entities 的性能是否存在统计差异？
• RQ4 上下文或标注细微差异是否会影响平台性能，尤其是实体识别？
• RQ5 哪些数据集特征（21个领域、64个意图、54个实体）揭示了各服务的优劣？

主要发现

• Watson 在四个平台中在 Intent 的精确率/召回率/F1 方面达到最高（F1 = 0.882），但由于高误报，Entity F1 显著较低。
• Dialogflow、LUIS 与 Rasa 展现出相似的整体性能，在 Intent F1 上彼此间无显著差异。
• Luis 在四项服务中获得最高的 Entity F1 分数（0.777）。
• Watson 的 Entity F1 明显较低（0.657），且效应量较大，受限于低精确度。
• 总体而言，将 intents 与 entities 池化后没有明晰的优胜者；Watson 在意图表现上强势，但在实体表现上较弱。
• 研究指出，在该论文版本时尚未对 Watson 的 Contextual Entity 特性进行评测。
• 作者提供公开的数据集与工具包以支持持续的基准测试。