[论文解读] End-to-End Slot Alignment and Recognition for Cross-Lingual NLU

Weijia Xu, Batool A Haider+1 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 24被引用 8

一句话总结

本文提出了一种端到端的跨语言自然语言理解模型，通过联合学习槽位标签对齐与识别，无需依赖外部词对齐工具或人工设计特征。通过使用基于软注意力的对齐模块，并以重建目标进行训练，该方法在训练时间减半的同时，性能达到最先进投影方法的水平，并在大多数语言上优于简单的 fast-align 投影方法，尤其在形态复杂的土耳其语上实现了 16.9% 的 F1 提升。

ABSTRACT

Natural language understanding (NLU) in the context of goal-oriented dialog systems typically includes intent classification and slot labeling tasks. Existing methods to expand an NLU system to new languages use machine translation with slot label projection from source to the translated utterances, and thus are sensitive to projection errors. In this work, we propose a novel end-to-end model that learns to align and predict target slot labels jointly for cross-lingual transfer. We introduce MultiATIS++, a new multilingual NLU corpus that extends the Multilingual ATIS corpus to nine languages across four language families, and evaluate our method using the corpus. Results show that our method outperforms a simple label projection method using fast-align on most languages, and achieves competitive performance to the more complex, state-of-the-art projection method with only half of the training time. We release our MultiATIS++ corpus to the community to continue future research on cross-lingual NLU.

研究动机与目标

• 解决现有跨语言 NLU 迁移方法依赖于机器翻译中错误率较高的槽位标签投影的问题。
• 开发一种端到端模型，联合学习槽位对齐与识别，无需外部对齐工具或语言学特征。
• 在涵盖四个语系的九种语言上评估该方法，以评估其在语言距离差异下的泛化能力。
• 发布 MultiATIS++，一个扩展至九种语言的多语言 NLU 语料库，以促进更广泛的研究应用。
• 证明联合学习结合重建目标可提升对齐质量与槽位识别性能，尤其在低资源语言和形态复杂的语言上表现更优。

提出的方法

• 模型使用多语言 BERT 作为共享编码器，实现跨语言表征学习。
• 引入一种基于注意力机制的软标签对齐模块，直接从源语言输入预测目标语言的槽位标签。
• 对齐模块与意图分类任务及重建损失联合训练，后者促使模型从预测的目标语言标签中重建出源语言标签。
• 通过在训练过程中端到端学习对齐，避免使用外部词对齐工具，降低对易出错投影的依赖。
• 模型采用多任务目标进行训练，结合源语言数据的监督损失与对齐预测的重建损失。
• 消融实验表明，重建损失和在源语言数据上的联合训练对实现高槽位 F1 性能至关重要。

实验结果

研究问题

• RQ1 能否在不依赖外部词对齐工具或语言学特征的前提下，通过端到端模型联合学习槽位对齐与识别？
• RQ2 与 fast-align 等标准标签投影基线方法相比，该方法在性能与训练效率方面表现如何？
• RQ3 该模型在涵盖多种语系及形态复杂的语言（如土耳其语）时是否具备良好的泛化能力？
• RQ4 重建损失与联合训练目标对对齐质量与槽位识别性能有何影响？
• RQ5 当仅提供少量目标语言标注样本时，该模型在少样本跨语言迁移任务中的有效性如何？

主要发现

• 该方法在除一种语言外的所有语言上均优于 fast-align 投影基线，所有语言的槽位 F1 均更高。
• 在形态复杂的土耳其语上，该方法比 MT+TMP 基线高出 16.9% 的槽位 F1，凸显其对语言差异的鲁棒性。
• 该方法在性能上可与最先进方法 MT+TMP 竞争，同时仅需其一半的训练时间。
• 消融实验表明，若移除重建损失，槽位 F1 下降 3.6%；若移除在源语言数据上的联合训练，F1 下降 8.4%，表明对这两个组件有强烈依赖。
• 在少样本设置下，该模型在法语（相似语言）和中文（差异语言）上均达到或超过最佳投影方法，表明其具备出色的样本效率。
• 结果表明，标签投影错误会显著抑制在差异较大语言上的性能，而端到端学习可有效缓解此问题。