[论文解读] Multi-Task Learning for Domain-General Spoken Disfluency Detection in Dialogue Systems

Igor Shalyminov, Arash Eshghi+1 more|arXiv (Cornell University)|Oct 8, 2018

Speech and dialogue systems被引用 5

一句话总结

本文提出了一种基于多任务LSTM的模型，用于对话系统中增量式、领域通用的语音不流畅检测，在SWDA语料库上实现了最先进性能，且模型架构更为简洁。该模型在bAbI+合成数据集上对未见数据表现出较强的泛化能力，尤其在局部不流畅模式（如停顿和PP重启动）上表现优异，但因数据稀疏性，在复杂NP/PP自我修正任务上表现不佳。

ABSTRACT

Spontaneous spoken dialogue is often disfluent, containing pauses, hesitations, self-corrections and false starts. Processing such phenomena is essential in understanding a speaker's intended meaning and controlling the flow of the conversation. Furthermore, this processing needs to be word-by-word incremental to allow further downstream processing to begin as early as possible in order to handle real spontaneous human conversational behaviour. In addition, from a developer's point of view, it is highly desirable to be able to develop systems which can be trained from `clean' examples while also able to generalise to the very diverse disfluent variations on the same data -- thereby enhancing both data-efficiency and robustness. In this paper, we present a multi-task LSTM-based model for incremental detection of disfluency structure, which can be hooked up to any component for incremental interpretation (e.g. an incremental semantic parser), or else simply used to `clean up' the current utterance as it is being produced. We train the system on the Switchboard Dialogue Acts (SWDA) corpus and present its accuracy on this dataset. Our model outperforms prior neural network-based incremental approaches by about 10 percentage points on SWDA while employing a simpler architecture. To test the model's generalisation potential, we evaluate the same model on the bAbI+ dataset, without any additional training. bAbI+ is a dataset of synthesised goal-oriented dialogues where we control the distribution of disfluencies and their types. This shows that our approach has good generalisation potential, and sheds more light on which types of disfluency might be amenable to domain-general processing.

研究动机与目标

• 开发一种鲁棒的、增量式的不流畅检测模型，实现跨领域泛化而无需微调。
• 通过在干净数据上进行训练并处理多样的不流畅变体，提升数据效率和鲁棒性。
• 在具有受控不流畅分布的未见合成对话数据上，评估模型的泛化潜力。
• 探究神经网络模型是否能学习超越特定训练数据的领域通用不流畅模式。
• 探索当前模型在检测复杂自我修正（如NP/PP修正）方面的局限性。

提出的方法

• 采用单个LSTM编码器的多任务学习框架，通过共享表征实现多个不流畅检测任务。
• 模型对每个词进行增量式标记，识别不流畅类型：停顿、PP重启动、编辑和自我修正。
• 任务包括识别插话（如“uh”）、修复跨度和重构短语，共享上下文编码。
• 模型在Switchboard Dialogue Acts（SWDA）语料库上进行训练，采用标准的不流畅标注规范。
• 在未进行任何微调或再训练的前提下，于bAbI+合成数据集上评估泛化性能。
• 对修复长度、词性标注模式和基于关键词的不流畅结构进行消融实验与分析。

实验结果

研究问题

• RQ1 与先前的神经方法相比，多任务LSTM模型是否能在增量式不流畅检测上实现更优性能？
• RQ2 在单一语料库（SWDA）上训练的模型，能在多大程度上泛化到具有受控不流畅类型的未见合成对话数据（bAbI+）？
• RQ3 为何模型在简单模式上表现良好，却无法检测复杂NP/PP自我修正？
• RQ4 特定不流畅类型（如NP/PP修复）的数据稀疏性如何影响模型泛化能力？
• RQ5 多任务学习是否能提升不流畅检测在多样化口语对话模式下的鲁棒性与数据效率？

主要发现

• 所提出的多任务LSTM模型在SWDA数据集上的性能比先前的神经增量模型高出约10个百分点。
• 在bAbI+中，模型对停顿和PP重启动的F1分数达到1.0，表明其在局部不流畅模式上具有极强的泛化能力。
• 在对修复区域无严格限制的不流畅类型（如任意区域重启动）上，该模型仍保持优于基线模型的泛化性能。
• 所有模型（包括本研究提出的模型）在NP/PP自我修正任务上的准确率均为0.0，表明此类检测存在根本性挑战。
• 分析表明，SWDA中NP/PP修复极为罕见，暗示数据稀疏性是导致模型在这些模式上失败的主要原因。
• 该模型在合成数据上表现出良好泛化能力，表明其在真实对话系统中实现领域通用不流畅处理具有潜力。