[论文解读] Learning Robust Dialog Policies in Noisy Environments

Maryam Fazel-Zarandi, Shang-Wen Li+5 more|arXiv (Cornell University)|Dec 11, 2017

Speech and dialogue systems参考文献 27被引用 19

一句话总结

本文提出了一种基于真实语音的用户模拟器的深度强化学习框架，用于训练能够从嘈杂环境中的自动语音识别（ASR）和自然语言理解（NLU）错误中恢复的鲁棒对话策略。该模拟器利用注入噪声的真实音频数据生成类人对话，使对话策略的训练在成功率与基于规则的系统相当的同时，对话轮次更少，展现出更优的样本效率和鲁棒性。

ABSTRACT

Modern virtual personal assistants provide a convenient interface for completing daily tasks via voice commands. An important consideration for these assistants is the ability to recover from automatic speech recognition (ASR) and natural language understanding (NLU) errors. In this paper, we focus on learning robust dialog policies to recover from these errors. To this end, we develop a user simulator which interacts with the assistant through voice commands in realistic scenarios with noisy audio, and use it to learn dialog policies through deep reinforcement learning. We show that dialogs generated by our simulator are indistinguishable from human generated dialogs, as determined by human evaluators. Furthermore, preliminary experimental results show that the learned policies in noisy environments achieve the same execution success rate with fewer dialog turns compared to fixed rule-based policies.

研究动机与目标

• 开发一个能够模拟真实世界语音交互中人类对话行为的用户模拟器。
• 使用深度强化学习训练能够有效从ASR和NLU错误中恢复的对话策略。
• 在嘈杂环境中减少对话长度，同时保持高任务成功率。
• 创建一个能够注入真实音频级噪声以引发语料特定词错误率（WER）的模拟器。
• 从成功率和对话效率两个方面，评估所学策略与固定规则策略的性能表现。

提出的方法

• 基于MovieBot Alexa技能的真实世界对话数据训练用户模拟器，以生成自然且类人的对话。
• 向音频信号中注入人工白噪声，以模拟真实世界的ASR错误，从而引发现实的词错误率（WER），并导致意图和槽位级别的错误。
• 使用深度强化学习（双Dueling Double DQN）训练对话策略，以最大化对话轨迹上的累积奖励。
• 模拟器根据对话历史条件化响应，并利用ASR/NLU组件的置信度分数来指导策略决策。
• 策略被训练为根据意图置信度和上下文，选择确认、信息获取或执行等动作。
• 用户研究证实，模拟器生成的对话在自然度和质量方面与人类生成的对话无法区分。

实验结果

研究问题

• RQ1 基于真实音频数据训练的用户模拟器能否在嘈杂环境中生成与人类生成对话无法区分的对话？
• RQ2 在真实模拟器下使用深度强化学习是否能产生在嘈杂ASR/NLU条件下优于固定规则策略的对话策略？
• RQ3 在模拟中引入音频级噪声如何影响策略的鲁棒性和样本效率？
• RQ4 与基于规则的系统相比，所学策略在保持任务成功率的同时，能在多大程度上减少对话长度？
• RQ5 ASR/NLU组件的置信度分数能否被策略有效利用，以最小化不必要的澄清轮次？

主要发现

• 用户模拟器生成的对话经人类评估者确认，与人类生成的对话在自然度上无法区分。
• 所学对话策略在嘈杂环境中实现了与固定规则策略相同的任务成功率，但对话轮次显著更少。
• 与固定策略相比，Dueling Double DQN智能体将不必要的澄清减少了39%，其中82%的澄清动作为信息获取而非确认。
• DDQN智能体学会在NLU置信度较高时跳过澄清，展示了对置信度分数的智能利用，从而减少了对话长度。
• 模拟器通过音频级噪声注入成功诱导出真实的WER，使训练能够在接近生产环境的条件下进行。
• 在高噪声环境（SNR = 2.8）下，经模拟器训练的策略仍表现出良好的泛化能力，在不牺牲成功率的前提下实现了更高的效率。