[论文解读] Incrementalizing RASA's Open-Source Natural Language Understanding Pipeline

Andrew Rafla, Casey Kennington|arXiv (Cornell University)|Jul 11, 2019

Topic Modeling参考文献 12被引用 13

一句话总结

本文通过在增量单元（IU）框架内使用 ADD 和 REVOKE 操作，将 RASA 开源 NLU 流水线的组件适配为逐词处理，提出了针对 RASA 的增量处理机制。实现了更新型增量（SIUM）和重启型增量（TensorFlow Embeddings）两种意图识别模型，结果表明增量处理在 Snips 数据集上的性能与非增量基线相当，验证了其可行性和正确性。

ABSTRACT

As spoken dialogue systems and chatbots are gaining more widespread adoption, commercial and open-sourced services for natural language understanding are emerging. In this paper, we explain how we altered the open-source RASA natural language understanding pipeline to process incrementally (i.e., word-by-word), following the incremental unit framework proposed by Schlangen and Skantze. To do so, we altered existing RASA components to process incrementally, and added an update-incremental intent recognition model as a component to RASA. Our evaluations on the Snips dataset show that our changes allow RASA to function as an effective incremental natural language understanding service.

研究动机与目标

• 使 RASA 的 NLU 流水线能够逐词处理用户语句，提升对话系统中自然性和响应速度。
• 解决现有 NLU 工具缺乏增量处理的问题，这些工具传统上仅处理完整语句，限制了实时用户交互。
• 扩展 RASA 的开源框架，通过新增组件和修改现有组件，利用 IU 框架支持增量处理。
• 评估增量实现的正确性和性能，确保其在意图和实体识别准确率上与非增量基线保持一致。

提出的方法

• 修改 RASA 组件（包括分词器、CRF 实体抽取器和词袋特征提取器），通过使用 ADD 和 REVOKE 操作实现输入的增量处理。
• 实现了一种重启型增量的 TensorFlow Embeddings 模型，当新词到达时重新训练每个语句前缀，将每个前缀视为完整语句进行处理。
• 设计了一种更新型增量的 SIUM 模型，通过维护内部状态并使用贝叶斯更新逐步更新意图分布。
• 添加了一种灵活的语句结束信号机制，允许任意组件（如自动语音识别或对话管理器）触发语句完成。
• 使用 IncrementalInterpreter 模拟增量处理，并通过注入错误词语及后续撤销操作来验证 ADD/REVOKE 行为的正确性。
• 使用 Snips 数据集的 700 条语句子集，通过意图和实体的 F1 分数评估性能，比较增量与非增量版本。

实验结果

研究问题

• RQ1 RASA 的 NLU 流水线能否被有效增量化，以支持逐词处理，同时保持识别准确率？
• RQ2 在真实世界 NLU 流水线中，将更新型增量和重启型增量方法应用于意图识别时，其性能表现如何比较？
• RQ3 在错误条件下，添加增量处理机制（ADD/REVOKE）是否能保持意图和实体识别的正确性？
• RQ4 增量化的 RASA 流水线能否用于实时对话系统，接收来自实时 ASR 的输入，其表现与非增量处理相比如何？

主要发现

• 增量化的 RASA 流水线正确处理了 ADD 和 REVOKE 操作，注入的错误词语随后被撤销，其输出与从未添加这些词语的情况完全一致。
• 增量版本在意图和实体识别上的 F1 分数与非增量基线相差不到 1%，表明性能损失可忽略不计。
• 重启型增量的 TensorFlow Embeddings 模型成功在每个语句前缀上重新评估意图分布，其结果与完整语句处理保持一致。
• 更新型增量的 SIUM 模型通过贝叶斯更新有效维护并逐步更新意图分布，支持实时推理。
• 该实现成功集成到 RASA 的模块化流水线架构中，实现了多个组件的同步增量处理。
• 结果证实，可以在不牺牲准确率的前提下，将增量处理应用于 RASA 等开源 NLU 系统，从而构建更自然、更响应迅速的对话系统。