[论文解读] Do Explicit Alignments Robustly Improve Multilingual Encoders?

Shijie Wu, Mark Dredze|arXiv (Cornell University)|Oct 6, 2020

Natural Language Processing Techniques参考文献 41被引用 4

一句话总结

本文提出一种基于对比学习的对齐目标，以在使用噪声大、资源少的双语语料（如 OPUS-100）而非高质量平行语料时，提升多语言编码器的性能。尽管在噪声数据上优于先前的对齐方法，但在多个任务、多种语言及多个随机种子的广泛评估中，其性能并未显著优于强基线模型，尤其是在使用 XLM-RoBERTa-large 等大模型时，表明在稳健评估设置下，显式对齐目标带来的增益有限。

ABSTRACT

Multilingual BERT (mBERT), XLM-RoBERTa (XLMR) and other unsupervised multilingual encoders can effectively learn cross-lingual representation. Explicit alignment objectives based on bitexts like Europarl or MultiUN have been shown to further improve these representations. However, word-level alignments are often suboptimal and such bitexts are unavailable for many languages. In this paper, we propose a new contrastive alignment objective that can better utilize such signal, and examine whether these previous alignment methods can be adapted to noisier sources of aligned data: a randomly sampled 1 million pair subset of the OPUS collection. Additionally, rather than report results on a single dataset with a single model run, we report the mean and standard derivation of multiple runs with different seeds, on four datasets and tasks. Our more extensive analysis finds that, while our new objective outperforms previous work, overall these methods do not improve performance with a more robust evaluation framework. Furthermore, the gains from using a better underlying model eclipse any benefits from alignment training. These negative results dictate more care in evaluating these methods and suggest limitations in applying explicit alignment objectives.

研究动机与目标

• 探究在使用噪声大、资源少的双语语料（而非高质量平行语料）进行训练时，显式对齐目标是否能提升多语言表示学习性能。
• 提出一种新的基于对比学习的对齐目标，以更好地利用无监督对齐器生成的次优词对齐信号。
• 在更严格的评估框架下评估对齐方法，包括多个随机种子、多种语言及多种下游任务。
• 评估对齐训练带来的性能增益是否被更大模型架构的改进所掩盖。

提出的方法

• 提出一种基于对比学习的目标，通过负样本采样提升对齐鲁棒性，优化多语言双语语料中对齐句子对之间的相似性。
• 将对比目标应用于高质量双语语料（如 Europarl）和更嘈杂、资源更少的双语语料（OPUS-100，即 OPUS 语料库的 100 万条样本子集）。
• 使用无监督词对齐生成弱对齐信号，随后应用对比损失，促使对齐词对具有相似的表示。
• 实现两种变体：'Weak Align' 和 'Strong Align'，二者在负样本构建方式及对比目标优化策略上有所不同。
• 采用内存高效的梯度下降方法，学习多语言表示之间的正交线性映射，避免存储完整矩阵。
• 在四个不同自然语言处理任务（XNLI、POS、依存句法分析、命名实体识别）上，使用多个随机种子的均值与标准差对模型进行评估。

实验结果

研究问题

• RQ1 当在噪声大、资源少的双语语料（如 OPUS-100）上训练时，对比对齐目标是否能提升多语言编码器的性能，而非在高质量双语语料上？
• RQ2 在包含多个随机种子的稳健评估框架下，显式对齐目标是否能在多种语言和任务中实现一致且显著的性能提升？
• RQ3 对齐训练带来的性能增益是否可归因于对齐目标本身，还是被模型规模的提升所掩盖？
• RQ4 在噪声数据上，不同对齐目标（线性映射、L2、对比学习）在鲁棒性和有效性方面如何比较？
• RQ5 与单次种子评估相比，当使用多个运行结果的标准差进行评估时，基于对齐的方法性能是否出现退化或消失？

主要发现

• 所提出的对比对齐目标在高质量和噪声双语语料（包括 OPUS-100）上均优于先前方法（如 Cao et al., 2020）。
• 在使用多个随机种子和标准差进行评估时，先前报告的对齐目标在 XNLI 任务上的性能增益消失，表明在稳健评估下其可复现性较低。
• 即使采用改进的对比目标，在使用 mBERT 或 XLM-RoBERTa-base 时，于四个不同任务和多种语言上也未观察到显著性能提升。
• XLM-RoBERTa-large 始终优于所有经过对齐训练的模型，表明模型规模在任何显式对齐收益之上占据主导地位。
• 本研究结论为：显式对齐目标无法稳健提升多语言编码器性能，尤其在经过充分统计严谨性检验且存在更大模型时。