[论文解读] Cross-lingual Alignment vs Joint Training: A Comparative Study and A Simple Unified Framework

Zi-Rui Wang, Jiateng Xie+4 more|arXiv (Cornell University)|Oct 10, 2019

Topic Modeling参考文献 59被引用 9

一句话总结

本文提出了一种统一框架，结合了无监督联合训练与跨语言对齐，以提升多语言表示学习。通过先以联合训练初始化，再通过对齐进行精炼，该方法在 MUSE 双语词典归纳和 CoNLL 跨语言 NER 基准测试中均取得了最先进性能，优于在各类任务中单独使用对齐或联合训练的方法。

ABSTRACT

Learning multilingual representations of text has proven a successful method for many cross-lingual transfer learning tasks. There are two main paradigms for learning such representations: (1) alignment, which maps different independently trained monolingual representations into a shared space, and (2) joint training, which directly learns unified multilingual representations using monolingual and cross-lingual objectives jointly. In this paper, we first conduct direct comparisons of representations learned using both of these methods across diverse cross-lingual tasks. Our empirical results reveal a set of pros and cons for both methods, and show that the relative performance of alignment versus joint training is task-dependent. Stemming from this analysis, we propose a simple and novel framework that combines these two previously mutually-exclusive approaches. Extensive experiments demonstrate that our proposed framework alleviates limitations of both approaches, and outperforms existing methods on the MUSE bilingual lexicon induction (BLI) benchmark. We further show that this framework can generalize to contextualized representations such as Multilingual BERT, and produces state-of-the-art results on the CoNLL cross-lingual NER benchmark.

研究动机与目标

• 系统比较多种跨语言 NLP 任务中的跨语言对齐与联合训练方法。
• 分析每种范式在不同任务设置下的优势与局限性。
• 开发一种结合对齐与联合训练优势的统一框架。
• 评估对齐是否能提升无监督联合训练的性能，以及其与有监督联合训练的对比表现。
• 将所提出的框架扩展至上下文感知表示（如 Multilingual BERT）

提出的方法

• 使用共享词汇表连接的单语语料库，通过无监督联合训练初始化多语言表示。
• 将跨语言对齐作为精炼步骤，将联合训练得到的表示映射到共享向量空间。
• 使用无监督对齐技术（如逐词匹配或分布匹配）来优化联合嵌入。
• 根据设置，使用单语或跨语言监督来训练对齐组件。
• 将统一框架应用于静态词嵌入与上下文感知表示（如 Multilingual BERT）。
• 使用标准微调流程在下游任务上微调最终表示。

实验结果

研究问题

• RQ1 在无监督机器翻译中观察到的联合训练相对于对齐的性能优势，是否可推广至其他跨语言任务？
• RQ2 对齐技术能否提升无监督联合训练所学表示的质量？
• RQ3 所提出的混合框架与使用相同监督水平（如双语词典）的有监督联合训练方法相比如何？
• RQ4 该框架能否有效应用于上下文感知表示（如 Multilingual BERT）？
• RQ5 在何种条件下，混合方法优于单独的对齐或联合训练？

主要发现

• 对齐与联合训练的相对性能取决于任务，其中联合训练在无监督机器翻译中表现更优，而对齐在双语词典归纳任务中更优。
• 所提出的统一框架在 MUSE 双语词典归纳基准测试中优于基线对齐与联合训练方法。
• 在 CoNLL 跨语言 NER 基准测试中，当应用于 Multilingual BERT 时，该框架取得了最先进结果。
• 该混合方法可有效推广至上下文感知表示，在多种 NLP 任务中均表现出一致提升。
• 即使仅使用无监督对齐，该框架也能显著提升性能，表明通过对齐精炼可增强联合训练的输出。
• 该方法在不同语种对与任务中均表现稳健，表明其具有广泛适用性，而不仅限于特定设置。