[论文解读] Learning Multi-Party Turn-Taking Models from Dialogue Logs

Maíra Gatti de Bayser, Paulo Cavalin+2 more|arXiv (Cornell University)|Jul 3, 2019

Speech and dialogue systems参考文献 17被引用 11

一句话总结

本文提出使用基于对话日志训练的机器学习模型来学习多角色对话中的发言权轮换，比较了MLE、SVM、CNN和LSTM等技术。研究发现，在大规模、主题导向的数据集上，内容感知的深度学习模型（尤其是CNN）显著优于其他模型；而在小规模、主题特定的数据集上，简单模型已足够。

ABSTRACT

This paper investigates the application of machine learning (ML) techniques to enable intelligent systems to learn multi-party turn-taking models from dialogue logs. The specific ML task consists of determining who speaks next, after each utterance of a dialogue, given who has spoken and what was said in the previous utterances. With this goal, this paper presents comparisons of the accuracy of different ML techniques such as Maximum Likelihood Estimation (MLE), Support Vector Machines (SVM), and Convolutional Neural Networks (CNN) architectures, with and without utterance data. We present three corpora: the first with dialogues from an American TV situated comedy (chit-chat), the second with logs from a financial advice multi-bot system and the third with a corpus created from the Multi-Domain Wizard-of-Oz dataset (both are topic-oriented). The results show: (i) the size of the corpus has a very positive impact on the accuracy for the content-based deep learning approaches and those models perform best in the larger datasets; and (ii) if the dialogue dataset is small and topic-oriented (but with few topics), it is sufficient to use an agent-only MLE or SVM models, although slightly higher accuracies can be achieved with the use of the content of the utterances with a CNN model.

研究动机与目标

• 为解决聊天机器人在无直接用户指令的情况下，自主判断何时发言的挑战。
• 探究机器学习是否能从对话日志中学习发言权轮换行为，避免基于规则的系统所需专家知识且难以扩展的局限。
• 评估不同机器学习模型（MLE、SVM、CNN、LSTM）在不同类型对话数据（如闲聊与主题导向对话）上的有效性。
• 确定在预测准确率上，仅使用发言者历史与同时使用发言者历史和话语内容的影响。
• 评估数据集规模对模型性能的影响，特别是对深度学习方法的影响。

提出的方法

• 将任务建模为多分类问题：在给定先前发言者序列及其话语的基础上，预测下一个发言者。
• 构建了三个不同的对话语料库：(1) 电视剧情景喜剧对话（闲聊），(2) 金融建议多智能体日志（主题导向），(3) 从MultiWOZ数据集导出的语料库（主题导向）。
• 使用仅发言者输入（发言者历史）和发言者与内容输入（发言者历史 + 话语文本）进行模型训练，回溯窗口最多包含前两轮对话。
• 评估了多种模型：最大似然估计（MLE）、支持向量机（SVM）、卷积神经网络（CNN）和长短期记忆（LSTM）网络。
• 对于内容相关模型，话语通过预训练的上下文嵌入表示（依据标准自然语言处理实践），CNN处理发言者-内容的历史序列以预测下一个发言者。
• 性能通过准确率进行评估，并以始终预测最后发言者（Repeat Last）的基线模型作为比较。

实验结果

研究问题

• RQ1 机器学习模型能否从原始对话日志中学习预测多角色对话中的下一个发言者，而无需显式规则？
• RQ2 与仅使用发言者历史相比，包含话语内容是否能提升发言权轮换预测的准确率？
• RQ3 训练语料库的规模如何影响不同机器学习模型的性能，特别是深度学习模型？
• RQ4 在不同对话类型（闲聊 vs. 主题导向）中，MLE、SVM、CNN或LSTM中哪一模型的准确率最高？
• RQ5 内容感知模型的性能提升是否具有统计显著性，特别是在小规模或主题特定的数据集中？

主要发现

• CNN模型在所有三个数据集上均达到最高准确率，尤其在最大规模的主题导向multibotwoz数据集中，其在使用发言者与内容输入时准确率达到94.19%。
• 在大规模multibotwoz数据集中，内容感知的CNN模型显著优于基线模型（p < 0.01），表明大规模数据使深度学习模型具备良好的泛化能力。
• 在较小规模的主题导向finch数据集中，仅使用发言者的MLE和SVM模型表现尚可，但通过CNN引入内容后准确率显著提升（例如，AC-SVM：92.48% vs. A-SVM：66.55%），且具有统计显著性（p < 0.01）。
• 在闲聊风格的电视剧对话数据集中，所有模型（包括CNN）均未能超越简单的Repeat Last基线模型（准确率61.34%），且无一模型表现出统计显著的改进（p ≥ 0.01），表明当前方法对闲聊对话的可预测性较低。
• 两轮回溯窗口始终优于单轮模型，且将窗口扩大至超过两轮并未进一步提升性能。
• 基于内容的深度学习模型在性能上与数据集规模呈强正相关：在大规模数据集上性能显著提升，而小规模数据集限制了模型收益，尤其在非主题导向场景中更为明显。