[论文解读] Is Multilingual BERT Fluent in Language Generation?

Samuel Rönnqvist, Jenna Kanerva+2 more|arXiv (Cornell University)|Oct 9, 2019

Topic Modeling参考文献 6被引用 39

一句话总结

本论文评估 Multilingual BERT 在跨语言语言生成任务上的表现，结果普遍劣于单语模型，且对 Nordic languages 特别弱。

ABSTRACT

The multilingual BERT model is trained on 104 languages and meant to serve as a universal language model and tool for encoding sentences. We explore how well the model performs on several languages across several tasks: a diagnostic classification probing the embeddings for a particular syntactic property, a cloze task testing the language modelling ability to fill in gaps in a sentence, and a natural language generation task testing for the ability to produce coherent text fitting a given context. We find that the currently available multilingual BERT model is clearly inferior to the monolingual counterparts, and cannot in many cases serve as a substitute for a well-trained monolingual model. We find that the English and German models perform well at generation, whereas the multilingual model is lacking, in particular, for Nordic languages.

研究动机与目标

• 激发对 Multilingual BERT 作为生成任务通用语言模型的评估动机。
• 通过探针方法调查多语言嵌入是否编码句法属性。
• 在多种语言中使用 Cloze 风格任务测试语言建模能力。
• 评估跨语言生成能力，以产出符合上下文且连贯的自然语言文本。
• 将 Multilingual BERT 的表现与跨语言家族中的单语对手进行比较。

提出的方法

• 对嵌入进行诊断性探针以检测句法属性。
• Cloze 任务用于评估填补句子中空缺的语言建模能力。
• 自然语言生成任务以评估生成文本的连贯性和上下文契合度。
• 跨语言评估，涵盖包括 Nordic languages 在内的一组语言。
• 将 Multilingual BERT 的结果与单语模型（如 English 和 German）进行比较。
• 对生成性能的分析，以识别语言特定的优势与弱点。

实验结果

研究问题

• RQ1 Multilingual BERT 是否能够像单语模型一样在其嵌入中编码句法属性？
• RQ2 Multilingual BERT 在跨语言的语言建模（cloze 任务）上的表现如何？
• RQ3 Multilingual BERT 是否能够产生符合给定上下文的连贯文本？
• RQ4 Multilingual BERT 的生成性能与单语模型相比如何，尤其是在 Nordic languages 上？

主要发现

• Multilingual BERT 在生成任务上显著劣于单语对手。
• English and German 模型在生成任务上表现良好。
• Multilingual BERT 表现欠佳，对于 Nordic languages 具有显著的弱点。
• 多语言模型在生成任务上并不能始终替代经过良好训练的单语模型。