[论文解读] Investigation of Error Simulation Techniques for Learning Dialog Policies for Conversational Error Recovery

Maryam Fazel-Zarandi, Longshaokan Marshall Wang+2 more|arXiv (Cornell University)|Nov 8, 2019

Speech and dialogue systems参考文献 34被引用 11

一句话总结

本文研究了用于语音驱动虚拟助手对话策略训练的音频级与文本级错误模拟技术，通过自动语音识别（ASR）置信度分数预测和未登录词（OOV）映射，改进了文本级方法。研究发现，文本级模拟在真实感方面与音频级模拟表现相当，且因其速度更快、实现更简单而更受青睐，改进后的指标在词错误率、置信度分数分布以及与真实错误的可区分性方面表现更优。

ABSTRACT

Training dialog policies for speech-based virtual assistants requires a plethora of conversational data. The data collection phase is often expensive and time consuming due to human involvement. To address this issue, a common solution is to build user simulators for data generation. For the successful deployment of the trained policies into real world domains, it is vital that the user simulator mimics realistic conditions. In particular, speech-based assistants are heavily affected by automatic speech recognition and language understanding errors, hence the user simulator should be able to simulate similar errors. In this paper, we review the existing error simulation methods that induce errors at audio, phoneme, text, or semantic level; and conduct detailed comparisons between the audio-level and text-level methods. In the process, we improve the existing text-level method by introducing confidence score prediction and out-of-vocabulary word mapping. We also explore the impact of audio-level and text-level methods on learning a simple clarification dialog policy to recover from errors to provide insight on future improvement for both approaches.

研究动机与目标

• 评估并比较用于语音驱动助手对话策略训练的音频级与文本级错误模拟技术的真实感。
• 通过引入ASR置信度分数预测与未登录词（OOV）映射，改进现有文本级错误模拟方法。
• 评估两种模拟方法对基于澄清的对话策略学习（用于错误恢复）的影响。
• 通过引入预测的置信度分数与词错误率（WER）特征，构建更鲁棒的判别器以评估模拟质量。
• 通过保留数据评估与用户研究验证模拟质量。

提出的方法

• 采用对比框架，分别基于真实ASR输出（音频级模拟）与训练数据的n-gram混淆矩阵（文本级模拟）进行实验。
• 通过训练模型从模拟ASR输出中预测ASR置信度分数，改进文本级模拟，实现在无需音频输入情况下的真实信号建模。
• 引入基于语音与语义相似性的未登录词（OOV）映射，以增强文本级模拟中的错误真实感。
• 通过引入预测的置信度分数与词错误率（WER）作为输入特征，提升用于区分真实与模拟数据的判别器网络性能。
• 采用深度强化学习结合Dueling Double DQN训练澄清策略，使用经验回放与线性衰减的ε-greedy探索策略。
• 通过消融研究与保留数据上的用户评估，比较不同模拟条件下策略的性能表现。

实验结果

研究问题

• RQ1 在词错误率分布与ASR置信度分数真实感方面，音频级与文本级错误模拟方法有何差异？
• RQ2 文本级错误模拟能否在模仿真实ASR与NLU错误方面达到与音频级模拟相当的真实感？
• RQ3 置信度分数预测与OOV词映射在多大程度上提升了文本级错误模拟的质量？
• RQ4 模拟错误对基于澄清的对话策略学习在任务成功率与用户满意度方面有何影响？
• RQ5 基于预测置信度分数与WER特征训练的判别器，能否有效区分真实与模拟的对话数据？

主要发现

• 文本级错误模拟在词错误率与置信度分数分布方面与真实ASR错误无统计学差异，真实感几乎与音频级模拟相当。
• 所提出的置信度分数预测模型能有效从模拟文本输出中估计ASR置信度，实现无需音频信号的更真实策略训练。
• 基于语音与语义相似性的未登录词（OOV）映射显著提升了文本级模拟中的错误真实感，尤其在罕见或领域特定词汇方面表现突出。
• 融合预测置信度分数与WER的改进判别器在区分真实与模拟数据方面准确率更高，验证了模拟质量的提升。
• 在保留数据评估与用户研究中，基于文本级模拟的策略学习性能与音频级模拟相当，用户评分的对话质量无显著差异。
• 用户研究评分的双因素方差分析显示交互效应不显著（p = 0.076），表明两种模拟方法在用户感知对话质量方面表现相似。