[论文解读] ISO-Standard Domain-Independent Dialogue Act Tagging for Conversational Agents

Stefano Mezza, Alessandra Cervone+3 more|arXiv (Cornell University)|Jun 12, 2018

Speech and dialogue systems参考文献 29被引用 28

一句话总结

本文提出一种方法，将多个公开可用的对话语料库映射到 ISO 24617-2 标准中的一组领域无关对话行为（DA）标注，从而创建一个大规模且兼容的训练语料库。利用该聚合资源，作者训练了一个基于支持向量机的 DA 标注器，在跨领域测试集上表现出色，证明了使用多语料库训练实现领域无关 DA 分类的可行性。

ABSTRACT

Dialogue Act (DA) tagging is crucial for spoken language understanding systems, as it provides a general representation of speakers' intents, not bound to a particular dialogue system. Unfortunately, publicly available data sets with DA annotation are all based on different annotation schemes and thus incompatible with each other. Moreover, their schemes often do not cover all aspects necessary for open-domain human-machine interaction. In this paper, we propose a methodology to map several publicly available corpora to a subset of the ISO standard, in order to create a large task-independent training corpus for DA classification. We show the feasibility of using this corpus to train a domain-independent DA tagger testing it on out-of-domain conversational data, and argue the importance of training on multiple corpora to achieve robustness across different DA categories.

研究动机与目标

• 为解决现有语料库间标注方案不兼容所导致的缺乏兼容、大规模、领域无关对话行为（DA）训练数据的问题。
• 开发一种系统化的方法，将多个现有对话语料库映射到基于 ISO 24617-2 的统一、标准化的 DA 分类体系。
• 评估使用聚合后的、符合 ISO 标准的语料库在跨领域测试数据上训练领域无关 DA 标注器的可行性和有效性。
• 证明在多个多样化语料库上进行训练可提升模型在不同 DA 类别和对话情境下的鲁棒性。

提出的方法

• 作者使用标准化的映射流程，将现有的公开对话语料库（如 Switchboard、AMI、DialogBank 等）映射到 ISO 24617-2 DA 分类体系的一个共享子集。
• 他们将映射后的语料库合并为一个大规模、任务和领域无关的 DA 分类训练语料库。
• 采用基于支持向量机（SVMs）的监督多分类框架，特征包括 n-gram、前一 DA 标签、词性（POS）标签以及索引化的依存关系。
• 首先在 Switchboard 语料库上使用标准的训练/测试划分评估模型性能，以验证其与最先进结果的对比表现。
• 最终模型在合并后的语料库上进行训练，并在三个跨领域测试集（DialogBank、CAPC 和 S-Logs）上进行评估，使用相同的特征集和超参数。
• 通过逐次移除一个语料库的方式开展消融研究，以评估每个数据集对整体性能的贡献。

实验结果

研究问题

• RQ1 能否系统性地将多个公开可用的对话语料库映射到统一、标准化的 DA 分类体系（ISO 24617-2），以创建一个统一的、领域无关的训练资源？
• RQ2 在多语料库、符合 ISO 标准的语料库上进行训练，是否能实现对跨领域测试集的稳健性能？
• RQ3 不同特征组合（如 n-gram、POS、依存关系）如何影响 DA 标注器在多样化测试集上的性能表现？
• RQ4 哪些单个语料库对多语料库模型的整体性能贡献最为显著？

主要发现

• 所提出的映射方法成功地将多个多样化的对话语料库映射到 ISO 24617-2 标准的共享子集，实现了跨语料库的兼容性与可重用性。
• 在聚合的、符合 ISO 标准的语料库上训练的 DA 标注器，在 DialogBank 测试集上达到 67.1% 的准确率，在 CAPC 上达到 74.3%，在 S-Logs 上达到 82.3%，展现出强大的跨领域泛化能力。
• 在多个语料库上进行训练显著提升了模型在不同 DA 类别中的鲁棒性，当所有语料库均被使用时性能最佳，尤其 SWDA 和 AMI 的贡献最为关键。
• 移除 SWDA 和 AMI 导致性能下降最显著，表明二者在模型泛化中起着关键作用；而 VerbMobil 和 MapTask 等较小语料库的影响则较弱。
• 添加索引化的依存关系特征在 DialogBank 和 CAPC 上提升了性能，但在 SWDA 上提升不具统计显著性。
• 使用 1-2-gram、前一 DA 标签、索引化的 POS 标签以及依存关系的模型整体表现最佳，证实其在多样化测试集上的有效性。