[论文解读] Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT

Shijie Wu, Mark Dredze|arXiv (Cornell University)|Apr 19, 2019

Topic Modeling参考文献 35被引用 59

一句话总结

论文研究使用多语言 BERT（mBERT）在五个 NLP 任务和 39 种语言上的零-shot 跨语言迁移，在没有显式跨语言信号的情况下显示出有竞争力或最先进的结果，并分析层级行为和子词共享。

ABSTRACT

Pretrained contextual representation models (Peters et al., 2018; Devlin et al., 2018) have pushed forward the state-of-the-art on many NLP tasks. A new release of BERT (Devlin, 2018) includes a model simultaneously pretrained on 104 languages with impressive performance for zero-shot cross-lingual transfer on a natural language inference task. This paper explores the broader cross-lingual potential of mBERT (multilingual) as a zero shot language transfer model on 5 NLP tasks covering a total of 39 languages from various language families: NLI, document classification, NER, POS tagging, and dependency parsing. We compare mBERT with the best-published methods for zero-shot cross-lingual transfer and find mBERT competitive on each task. Additionally, we investigate the most effective strategy for utilizing mBERT in this manner, determine to what extent mBERT generalizes away from language specific features, and measure factors that influence cross-lingual transfer.

研究动机与目标

• 评估 mBERT 是否学习到一个共享的跨语言空间，从而在多样语言间实现零-shot 转移。
• 在五个 NLP 任务上评估 mBERT，以与先前的零-shot 方法进行比较。
• 确定用于跨语言迁移的有效微调和特征提取策略。
• 调查语言特定信息在各层中的保留情况以及子词共享对迁移的影响。

提出的方法

• 使用 base cased mBERT（104 种语言），在英文数据上对这五个任务进行微调（MLDoc、XNLI、NER、POS 标注、依存句法分析）。
• 应用任务特定输出层并进行常规微调（3–4 轮、学习率约 3e-5），使用 Adam 优化。
• 在微调期间尝试冻结底层层（n 在 {0,3,6,9}），并与将所有层进行特征级浅层组合（Feats）进行比较。
• 在零-shot设置下测量对每个任务的38个目标语言的跨语言迁移性能；对解析报告 UAS/LAS，对 NER 报告 F1，对 POS 报告 ACC，对 MLDoc 和 XNLI 报告准确率。
• 分析每一层的语言识别准确率，以评估语言特定信息的保留。
• 检查各语言之间的子词重叠及其与迁移性能的关系，使用 WordPiece 词汇。

实验结果

研究问题

• RQ1 mBERT 是否能在不需要显式跨语言监督的情况下，在广泛的任务集合中实现强零-shot 跨语言迁移？
• RQ2 冻结较低层与对所有参数进行微调如何影响跨语言迁移在各任务上的表现？
• RQ3 mBERT 的不同层是否保留语言特定信息，还是在实现跨语言迁移的同时淡化语言差异？
• RQ4 跨语言共享子词是否与迁移性能的提升相关，是否可以指示适合的源语言进行迁移？

主要发现

• mBERT 在所有五个任务上实现了具有竞争力或最先进的零-shot 跨语言性能，常常超过先前的跨语言嵌入。
• 在微调期间固定底层通常能提升性能，对于文档分类和自然语言推理的增益最大，约六层冻结，三层用于词级任务。
• 语言识别测试显示语言特定信息在所有层中仍可检测，即使跨语言迁移有所提升。
• 跨语言子词重叠与迁移性能之间存在强正相关，尤其是在四个任务中（类型级和单词级重叠），XNLI 不包括在内。
• 在依存句法分析中，mBERT 在没有金 POS 标签的情况下平均比强基线高出 7.3 UAS 和 0.4 LAS；若有金 POS 标签，提升更大（平均 1.6 UAS、4.7 LAS）。
• 近似语言和远缘语言之间的迁移差异显著，表明远缘语言的迁移仍有改进空间。