[论文解读] Investigation of Language Understanding Impact for Reinforcement Learning Based Dialogue Systems

Xiujun Li, Yun-Nung Chen+3 more|arXiv (Cornell University)|Mar 21, 2017

Speech and dialogue systems参考文献 21被引用 25

一句话总结

本研究探讨了自然语言理解（NLU）错误对基于强化学习（RL）的任务导向对话系统的影响。通过系统的用户模拟实验，发现与意图级错误相比，槽位级错误——尤其是错误的槽位值——对系统性能的损害更大；然而，RL智能体通过学习确认不确定信息，展现出鲁棒性，从而在存在噪声的情况下提升了可靠性。

ABSTRACT

Language understanding is a key component in a spoken dialogue system. In this paper, we investigate how the language understanding module influences the dialogue system performance by conducting a series of systematic experiments on a task-oriented neural dialogue system in a reinforcement learning based setting. The empirical study shows that among different types of language understanding errors, slot-level errors can have more impact on the overall performance of a dialogue system compared to intent-level errors. In addition, our experiments demonstrate that the reinforcement learning based dialogue system is able to learn when and what to confirm in order to achieve better performance and greater robustness.

研究动机与目标

• 系统分析不同类型的NLU错误对基于强化学习的对话系统性能的影响。
• 比较意图级错误与槽位级错误对对话成功率和效率的相对影响。
• 评估基于强化学习的对话策略在处理噪声NLU输出时的鲁棒性。
• 探究基于强化学习的智能体是否能通过确认策略减轻NLU错误的影响。
• 为端到端对话系统中设计更鲁棒的多任务NLU模型提供实证洞察。

提出的方法

• 在模拟用户环境中开展实验，以隔离并控制NLU错误类型和发生率。
• 使用通过与模拟用户交互训练的基于强化学习的对话策略来评估系统性能。
• 系统性地改变意图错误类型（同类别、不同类别、随机）和错误率（0%、10%、20%），同时保持其他因素不变。
• 类似地，操控槽位错误类型（删除、错误值、错误槽位名称）和错误率（0%、10%、20%），以评估其影响。
• 使用成功率和平均对话长度作为关键指标衡量性能。
• 利用用户模拟框架训练并评估对话策略，以实现可控且可重复的实验。

实验结果

研究问题

• RQ1 不同类型的意图级错误（同类别、不同类别、随机）如何影响基于强化学习的对话系统性能？
• RQ2 提高意图错误率如何影响对话系统的成功率和收敛性？
• RQ3 与意图级错误相比，槽位级错误（如删除、错误值、错误槽位名称）的相对影响是什么？
• RQ4 提高槽位错误率如何影响系统性能和对话效率？
• RQ5 基于强化学习的对话智能体能否通过使用确认策略来补偿NLU错误？

主要发现

• 槽位级错误，尤其是错误的槽位值，对对话系统性能的负面影响显著大于意图级错误。
• 随着槽位错误率从0%提高到20%，对话智能体的成功率显著下降，同时平均对话长度相应增加。
• 意图错误类型（同类别、不同类别、随机）在性能影响上差异微小，表明不同意图错误模式下的鲁棒性相似。
• 意图错误率从0%提高到10%仅导致性能轻微下降，表明RL智能体对意图级噪声具有相对鲁棒性。
• 基于强化学习的对话智能体学会了在面对高槽位错误率时确认不确定信息，表现出适应性鲁棒性，代价是对话略长。
• 系统在不同意图错误类型和错误率下保持了相似的成功率，表明在当前的对话动作表示中，意图级错误的重要性低于槽位级错误。