[论文解读] Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation

Olga Majewska, Evgeniia Razumovskaia+3 more|arXiv (Cornell University)|Jan 31, 2022

Topic Modeling被引用 5

一句话总结

本文提出一种基于大纲的多语言任务导向对话数据集构建方法，通过将领域特定的对话模板转化为自然语言大纲，指导母语者在多种语言中生成符合文化背景、自然流畅的对话。由此生成的跨语言大纲式对话（cod）数据集可在11个领域和4种不同语言中对多语言及跨语言对话系统进行稳健评估，其数据质量优于基于翻译的方法，性能基准更具真实性。

ABSTRACT

Multilingual task-oriented dialogue (ToD) facilitates access to services and information for many (communities of) speakers. Nevertheless, the potential of this technology is not fully realised, as current datasets for multilingual ToD - both for modular and end-to-end modelling - suffer from severe limitations. 1) When created from scratch, they are usually small in scale and fail to cover many possible dialogue flows. 2) Translation-based ToD datasets might lack naturalness and cultural specificity in the target language. In this work, to tackle these limitations we propose a novel outline-based annotation process for multilingual ToD datasets, where domain-specific abstract schemata of dialogue are mapped into natural language outlines. These in turn guide the target language annotators in writing a dialogue by providing instructions about each turn's intents and slots. Through this process we annotate a new large-scale dataset for training and evaluation of multilingual and cross-lingual ToD systems. Our Cross-lingual Outline-based Dialogue dataset (termed COD) enables natural language understanding, dialogue state tracking, and end-to-end dialogue modelling and evaluation in 4 diverse languages: Arabic, Indonesian, Russian, and Kiswahili. Qualitative and quantitative analyses of COD versus an equivalent translation-based dataset demonstrate improvements in data quality, unlocked by the outline-based approach. Finally, we benchmark a series of state-of-the-art systems for cross-lingual ToD, setting reference scores for future work and demonstrating that COD prevents over-inflated performance, typically met with prior translation-based ToD datasets.

研究动机与目标

• 解决现有多语言任务导向对话（ToD）数据集的局限性，如规模小、对话流程覆盖不足，或因基于翻译创建而导致的不自然和文化不适宜问题。
• 开发一种可扩展、低成本的高质量多语言 ToD 数据生成方法，保留语言与文化真实性，同时支持跨语言迁移学习。
• 构建一个大规模、多语言、多领域的对话数据集，适用于在多种语言中训练和评估端到端对话系统、对话状态追踪及自然语言理解模型。
• 提供一个真实可靠的评估基准，避免基于翻译的数据集常见的过度乐观性能估计，从而实现对跨语言 ToD 系统更可靠的评估。

提出的方法

• 从英文的 Schema-Guided Dialogue（SGD）数据集中提取特定领域的、与语言无关的对话模板作为抽象模板。
• 将这些模板自动映射为英文自然语言大纲，明确每轮对话的意图和所需槽位值。
• 目标语言的母语者（阿拉伯语、印度尼西亚语、俄语、基斯瓦希利语）使用这些大纲作为指导，生成自然且符合当地文化背景的对话，并用本地语境替换槽位值。
• 该流程在保持跨语言可比性的同时，保留了语言的自然性和文化特异性，避免了直接翻译的缺陷。
• 最终数据集 cod 支持多种任务：意图识别、槽位标注、对话状态追踪以及跨11个领域和4种语言的端到端对话生成。
• 消融研究将 cod 与基于翻译的基线方法进行比较，证明了在数据质量与模型泛化能力方面均有显著的定性和定量提升。

实验结果

研究问题

• RQ1 基于大纲的标注流程能否生成比基于翻译的方法更自然、更符合文化背景的多语言任务导向对话数据？
• RQ2 所提出的方法是否能提升跨语言任务导向对话系统的泛化能力，并实现更真实的性能评估？
• RQ3 cod 数据集在多领域和多语言设置下，特别是在跨领域和端到端场景中，其支持评估的能力达到何种程度？
• RQ4 最先进跨语言模型在 cod 上的表现与基于翻译的基准相比如何？cod 是否能防止性能估计被过度高估？

主要发现

• 定性分析证实，基于大纲的方法生成的对话在自然度和文化特异性方面显著优于基于翻译的基线方法。
• cod 数据集能够实现对跨语言迁移的更真实评估，避免了基于翻译基准中常见的过度乐观性能表现。
• 在域内意图识别中，cod 的准确率达到 32.07%（XLM-R），槽位标注的 F1 值达 53.36%（XLM-R），仍有较大提升空间，表明该数据集具有挑战性且具备实用价值。
• 跨领域性能显著低于域内性能，凸显了零样本或少样本跨领域迁移的难度，验证了该数据集在相关评估中的适用性。
• 端到端生成的 BLEU 分数较低（例如，mT5 在跨领域设置下的 BLEU 为 3.76），证实该数据集对端到端模型构成了有意义的挑战。
• cod 数据集是首个支持在11个领域和4种语言类型差异显著的语言中进行评估的多语言 ToD 资源，为自然语言理解、对话状态追踪和端到端系统提供了全面的基准支持。