[論文レビュー] Is Multilingual BERT Fluent in Language Generation?

Samuel Rönnqvist, Jenna Kanerva+2 more|arXiv (Cornell University)|Oct 9, 2019

Topic Modeling参考文献 6被引用数 39

ひとこと要約

本論文はMultilingual BERTが言語生成タスクを多言語でどれだけうまく実行するかを評価し、モノリンガルモデルと比較して全体的に劣り、特に北欧言語で弱いことを明らかにしている。

ABSTRACT

The multilingual BERT model is trained on 104 languages and meant to serve as a universal language model and tool for encoding sentences. We explore how well the model performs on several languages across several tasks: a diagnostic classification probing the embeddings for a particular syntactic property, a cloze task testing the language modelling ability to fill in gaps in a sentence, and a natural language generation task testing for the ability to produce coherent text fitting a given context. We find that the currently available multilingual BERT model is clearly inferior to the monolingual counterparts, and cannot in many cases serve as a substitute for a well-trained monolingual model. We find that the English and German models perform well at generation, whereas the multilingual model is lacking, in particular, for Nordic languages.

研究の動機と目的

• 生成タスクの普遍的な言語モデルとしてのMultilingual BERTの評価を促す。
• 多言語埋め込みが統語的特性をコード化しているかをプロービングを介して調査する。
• 複数言語にわたる Cloze 形式タスクで言語モデリング能力を検証する。
• 複数言語において文脈に適合し一貫したテキストを生成する自然言語生成能力を評価する。
• 言語系統ごとにモノリンガルの対ハの性能と比較する。

提案手法

• 統語的特性を検出するための埋め込みの診断的プロービング。
• 文の空欄を埋める能力を評価する Cloze タスク。
• 生成されたテキストの一貫性と文脈適合性を評価する自然言語生成タスク。
• 北欧言語を含む一連の言語にわたる多言語横断評価。
• 英語やドイツ語などのモノリンガルモデルとMultilingual BERTの結果を比較。
• 言語特有の長所と弱点を特定するための生成性能の分析。

実験結果

リサーチクエスチョン

• RQ1 Multilingual BERTは埋め込みに統語的特性をモノリンガルモデルと同等にコード化できるか。
• RQ2 複数言語にわたる言語モデリング（clozeタスク）の性能はどの程度か。
• RQ3 与えられた文脈に適合する一貫した生成が可能か。
• RQ4 北欧言語を中心に、Multilingual BERTの生成性能はモノリンガルモデルとどう比較されるか。

主な発見

• Multilingual BERTは生成タスクにおいてモノリンガルの対照と明らかに劣る。
• 英語およびドイツ語のモデルは生成タスクで良好に機能する。
• Multilingual BERTは性能不足で、特に北欧言語で顕著な弱点がある。
• 多言語モデルは、よく訓練されたモノリンガルモデルの代替として一貫して機能しない。