[论文解读] Attention-Informed Mixed-Language Training for Zero-shot Cross-lingual Task-oriented Dialogue Systems

Zihan Liu, Genta Indra Winata+3 more|arXiv (Cornell University)|Nov 21, 2019

Topic Modeling参考文献 23被引用 14

一句话总结

本文提出注意力感知的混合语言训练（MLT），一种零样本跨语言对话系统，利用预训练英语模型的注意力分数来选择关键词，随后将这些关键词替换为目标语言的翻译，从而构建代码切换的训练语句。仅需少量平行词对，MLT即可在低资源语言的对话状态追踪与自然语言理解任务中显著提升零样本性能，优于使用远少于其 bilingual 资源的最先进方法。

ABSTRACT

Recently, data-driven task-oriented dialogue systems have achieved promising performance in English. However, developing dialogue systems that support low-resource languages remains a long-standing challenge due to the absence of high-quality data. In order to circumvent the expensive and time-consuming data collection, we introduce Attention-Informed Mixed-Language Training (MLT), a novel zero-shot adaptation method for cross-lingual task-oriented dialogue systems. It leverages very few task-related parallel word pairs to generate code-switching sentences for learning the inter-lingual semantics across languages. Instead of manually selecting the word pairs, we propose to extract source words based on the scores computed by the attention layer of a trained English task-related model and then generate word pairs using existing bilingual dictionaries. Furthermore, intensive experiments with different cross-lingual embeddings demonstrate the effectiveness of our approach. Finally, with very few word pairs, our model achieves significant zero-shot adaptation performance improvements in both cross-lingual dialogue state tracking and natural language understanding (i.e., intent detection and slot filling) tasks compared to the current state-of-the-art approaches, which utilize a much larger amount of bilingual data.

研究动机与目标

• 为解决因缺乏高质量训练数据而导致低资源语言任务导向型对话系统开发困难的问题。
• 通过减少对大规模平行语料库的依赖，提升对话系统中的零样本跨语言迁移能力。
• 通过利用注意力机制识别语义重要词汇以实现代码切换，增强跨语言泛化能力。
• 评估不同跨语言嵌入方法（MUSE、RCSLS、XLM、Multilingual BERT）在零样本适应中的有效性。
• 证明注意力感知的词选择优于人工标注或本体基础的词对，在低资源场景下表现更优。

提出的方法

• 该方法利用预训练英语对话模型的注意力分数，识别训练语句中与任务相关的关键词。
• 将选定的英文词汇与现有双语词典中的目标语言翻译配对，形成代码切换语句。
• 在这些混合语言语句上微调模型，以学习关键任务相关术语的跨语言语义对齐。
• 使用跨语言嵌入（MUSE、RCSLS、XLM、Multilingual BERT）支持对未见语言的零样本迁移。
• 该方法使模型能够泛化到原始词对列表中未包含的语义相似词汇，如同义词或领域相关术语。
• 推理阶段，模型利用学习到的注意力模式关注目标语言中的等效或相似词汇，即使未在训练中显式出现。

实验结果

研究问题

• RQ1 仅通过注意力分数选择的极小规模平行词对，能否在任务导向型对话系统中实现有效的零样本跨语言适应？
• RQ2 与人工或本体基础的词对选择相比，采用注意力感知词选择的代码切换训练是否能提升零样本性能？
• RQ3 在低资源设置下，MLT 性能如何随不同跨语言嵌入方法变化？
• RQ4 模型在多大程度上能泛化到原始词对列表中未包含的词汇，如同义词或相关领域术语？
• RQ5 MLT 是否能缓解不完美跨语言词嵌入对零样本迁移带来的负面影响？

主要发现

• 仅使用五个平行词对，MLT 在西班牙语数据上的意图检测绝对提升17.69%，槽位填充准确率提升21.45%，显著优于基线模型。
• 采用注意力机制选择词对的 MLT（MLT A）在意图检测中优于人工标注词对（MLT H），证明了模型驱动选择的优越性。
• 在泰语上，使用 RCSLS 嵌入的 MLT 超过基于 XLM 和 Multilingual BERT 的模型，凸显该方法对形态复杂语言中子词长度问题的鲁棒性。
• 模型能够超越提供的词对进行泛化，正确关注语义相似词汇（如 'configurer' 和 'establecer'，两者均意为 'set'），即使未在训练中显式包含。
• 可视化结果证实，MLT 模型的注意力层同时关注源语言和目标语言的等效词（如 'Set' 和 'Configurar'），表明实现了有效的跨语言对齐。
• 基于 MLT 的模型在对话状态追踪与自然语言理解任务中均实现了最先进水平的零样本性能，且使用的双语资源远少于先前方法。