[论文解读] Word Alignment by Fine-tuning Embeddings on Parallel Corpora

Zi-Yi Dou, Graham Neubig|arXiv (Cornell University)|Jan 20, 2021

Natural Language Processing Techniques参考文献 76被引用 12

一句话总结

本文提出 AWESoME，一种多语言词对齐方法，通过在平行语料上对多语言上下文嵌入进行微调，并采用专门针对对齐的目标函数，显著优于先前的最先进方法，在五个语言对上表现优异。该方法通过联合优化词级相似性和句级平行性，提升对齐质量，实现鲁棒的零样本性能，并通过概率阈值或最优传输方法有效提取对齐结果。

ABSTRACT

Word alignment over parallel corpora has a wide variety of applications, including learning translation lexicons, cross-lingual transfer of language processing tools, and automatic evaluation or analysis of translation outputs. The great majority of past work on word alignment has worked by performing unsupervised learning on parallel texts. Recently, however, other work has demonstrated that pre-trained contextualized word embeddings derived from multilingually trained language models (LMs) prove an attractive alternative, achieving competitive results on the word alignment task even in the absence of explicit training on parallel data. In this paper, we examine methods to marry the two approaches: leveraging pre-trained LMs but fine-tuning them on parallel text with objectives designed to improve alignment quality, and proposing methods to effectively extract alignments from these fine-tuned models. We perform experiments on five language pairs and demonstrate that our model can consistently outperform previous state-of-the-art models of all varieties. In addition, we demonstrate that we are able to train multilingual word aligners that can obtain robust performance on different language pairs. Our aligner, AWESOME (Aligning Word Embedding Spaces of Multilingual Encoders), with pre-trained models is available at https://github.com/neulab/awesome-align

研究动机与目标

• 通过将预训练的多语言上下文嵌入与在平行语料上的微调相结合，提升词对齐性能。
• 设计训练目标，通过鼓励对齐词对的表示更接近，以及促进平行句子的表示更相似，从而提升对齐质量。
• 开发从微调后的上下文嵌入中有效提取对齐结果的方法。
• 通过单一多语言对齐模型，实现在未微调目标语言上的鲁棒零样本性能。
• 在有监督信号可用时，通过引入监督信号支持半监督学习。

提出的方法

• 在平行语料上微调多语言 BERT 风格模型，使用自训练目标，促使对齐词对的上下文表示更相似。
• 引入平行句子识别目标，将平行语料中源句和目标句的表示拉近。
• 以上下文词嵌入之间的余弦相似度作为对齐预测的基础。
• 应用概率阈值和最优传输方法，从微调模型输出中提取鲁棒的单向对齐结果。
• 端到端训练模型，结合掩码语言建模与对齐特定目标。
• 使用 AER（平均错误率）等标准指标，在多个语言对上评估对齐质量。

实验结果

研究问题

• RQ1 在平行语料上微调多语言上下文嵌入是否能超越无监督方法，提升词对齐性能？
• RQ2 针对词级对齐与句级平行性的联合目标是否能提升对齐任务的表示质量？
• RQ3 单一多语言模型是否能在未在目标语言上微调的情况下，泛化到零样本语言对？
• RQ4 不同对齐提取方法（阈值法 vs. 最优传输）在性能与鲁棒性方面如何比较？
• RQ5 模型在半监督设置中是否能有效利用监督信号？

主要发现

• AWESoME 在五个多样化语言对上达到最先进性能，且在所有设置中均持续优于先前方法。
• 该模型展现出鲁棒的零样本性能，能良好泛化到微调过程中未见过的语言对。
• 通过特定对齐目标进行微调，使上下文表示更对齐，表现为对齐词对之间的余弦距离降低。
• 在大多数情况下，基于最优传输的对齐提取方法比简单的概率阈值法更准确。
• 该模型提升了跨语言句子表示迁移能力，在多语言自然语言推理的 XNLI 基准上优于基线模型。
• 引入监督信号可实现有效的半监督学习，进一步提升对齐准确率。