[论文解读] Conversation Learner -- A Machine Teaching Tool for Building Dialog Managers for Task-Oriented Dialog Systems

Swadheen Shukla, Lars Lidén+7 more|arXiv (Cornell University)|Apr 9, 2020

Speech and dialogue systems参考文献 10被引用 8

一句话总结

Conversation Learner 是一种机器教学工具，通过将基于规则的对话流程转换为基于混合代码网络（HCN）的模型，并利用教学界面使对话作者能够通过标注的对话日志迭代改进性能，从而弥合了基于规则的对话流程与基于神经网络的对话管理器之间的差距。仅使用3–5个教学示例，该方法在任务完成质量上相比基于规则的系统实现了13.8%的提升。

ABSTRACT

Traditionally, industry solutions for building a task-oriented dialog system have relied on helping dialog authors define rule-based dialog managers, represented as dialog flows. While dialog flows are intuitively interpretable and good for simple scenarios, they fall short of performance in terms of the flexibility needed to handle complex dialogs. On the other hand, purely machine-learned models can handle complex dialogs, but they are considered to be black boxes and require large amounts of training data. In this demonstration, we showcase Conversation Learner, a machine teaching tool for building dialog managers. It combines the best of both approaches by enabling dialog authors to create a dialog flow using familiar tools, converting the dialog flow into a parametric model (e.g., neural networks), and allowing dialog authors to improve the dialog manager (i.e., the parametric model) over time by leveraging user-system dialog logs as training data through a machine teaching interface.

研究动机与目标

• 解决基于规则的对话管理器在处理复杂、偏离轨迹或模糊用户输入时的局限性。
• 克服纯神经网络对话管理器的黑箱特性及其对大量数据的需求。
• 为对话作者提供一种实用且交互式的界面，通过真实用户-系统交互日志改进对话策略。
• 实现一种混合方法，在保留基于规则系统可解释性的同时，实现学习模型的泛化能力。
• 证明通过极少的人工干预（机器教学）可显著提升神经网络对话策略的性能。

提出的方法

• 将来自 Power Virtual Agents 等工具的基于规则的对话流程转换为基于参数化 HCN 的对话管理器。
• 使用机器教学界面，使对话作者能够审查并修正有问题的对话日志。
• 基于修正后的对话转录本训练 HCN 基对话策略，以优化其决策能力。
• 在 HCN 中应用动作掩码和序列建模，以表示对话状态转移和策略决策。
• 通过添加少量高影响力的教学示例，迭代改进模型，以纠正常见的对话失败模式。
• 通过人类评估在真实世界对话转录本上对任务完成质量进行模型性能评估。

实验结果

研究问题

• RQ1 是否能够从基于规则的对话流程有效启动一个神经网络对话策略，同时保持预期行为？
• RQ2 对话作者在仅使用少量、有针对性的修正来处理已记录的对话日志时，能在多大程度上提升神经网络对话管理器的性能？
• RQ3 在处理偏离流程或模糊的用户语句时，基于 HCN 的对话管理器与基于规则的系统相比表现如何？
• RQ4 仅添加 3–5 个教学示例对神经网络对话策略的整体任务完成准确率有何影响？
• RQ5 机器教学界面是否能够实现可扩展、可维护的对话系统开发，而无需大规模标注数据集？

主要发现

• 基于 HCN 的对话管理器在 91.63% 的对话中表现与基于规则的系统相当，表明成功地从基于规则的流程中进行了有效启动。
• 在 4.53% 的情况下，基于 HCN 的模型表现优于基于规则的系统，尤其是在处理模糊或偏离轨迹的用户输入时。
• 在通过机器教学界面仅添加 3–5 个教学示例后，基于 HCN 的模型在 13.8% 的对话中表现优于基于规则的系统。
• 性能提升在处理上下文切换、重复和后续问题等常见失败模式方面最为显著，这些是基于规则系统中的典型问题。
• 人工评估显示，在教学后 HCN 模型的净性能提升达 12.99%，仅有 0.81% 的案例被评为更差。
• 结果表明，通过极少且有针对性的人工干预（机器教学）可显著提升神经网络对话策略的性能。