[論文レビュー] Cross-Lingual Ability of Multilingual BERT: An Empirical Study

K Karthikeyan, Zihan Wang+2 more|arXiv (Cornell University)|Dec 17, 2019

Topic Modeling参考文献 11被引用数 172

ひとこと要約

tldr: 本論文は、言語特性、アーキテクチャ、学習目的を横断してバイリンガル BERT 派生モデルを検証することで、Multilingual BERT (M-BERT) におけるクロスリンガル転送を駆動する要因を調査し、構造的類似性とモデルの深さが鍵となる一方で、語彙分割の重複（word-piece overlap）とマルチヘッド・注意機構は重要度が低いと結論づけている。

ABSTRACT

Recent work has exhibited the surprising cross-lingual abilities of multilingual BERT (M-BERT) -- surprising since it is trained without any cross-lingual objective and with no aligned data. In this work, we provide a comprehensive study of the contribution of different components in M-BERT to its cross-lingual ability. We study the impact of linguistic properties of the languages, the architecture of the model, and the learning objectives. The experimental study is done in the context of three typologically different languages -- Spanish, Hindi, and Russian -- and using two conceptually different NLP tasks, textual entailment and named entity recognition. Among our key conclusions is the fact that the lexical overlap between languages plays a negligible role in the cross-lingual success, while the depth of the network is an integral part of it. All our models and implementations can be found on our project page: http://cogcomp.org/page/publication_view/900 .

研究の動機と目的

• 英語とターゲット言語（スペイン語、ヒンディー語、ロシア語）間で、M-BERT におけるクロスリンガル転送を可能にする言語的性質を評価する。
• モノリンガルおよびクロスリンガル性能に対するモデルアーキテクチャ（深さ、注意ヘッド数、パラメータ数）の役割を評価する。
• クロスリンガル学習のための入力表現と学習目的（NSP、言語識別マーカー、トークン化）を検討する。
• 転送における語彙の重複と構造的類似性の影響を区別する。
• 表層形を操作することで言語類似性を分析する手法を開発する（例：Fake-English）。

提案手法

• 英語とターゲット言語を用いた Wikipedia データで、バイリンガル BERT（B-BERT）派生を学習させる。
• XNLI（テキスト含意）とNER におけるクロスリンガル転送を、CO データセット構成を用いて評価する。
• 分解された語彙を持つ Fake-English 言語を導入して、語彙分割の重複を系統的に変化させる。
• 事前学習中に語順を置換して、語順の類似性を制御する。
• 深さ、注意ヘッド数、総パラメータ数がクロスリンガル転送に及ぼす影響を分析する。
• 入力表現（NSP、言語識別マーカー、文字/語片/語トークン化）をテストし、性能への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 言語間の構造的類似性と比較して、M-BERT のクロスリンガル転送における語彙分割の重複はどれだけ重要か？
• RQ2 モデルの深さ、注意ヘッド数、総パラメータ数のクロスリンガル転送への相対的寄与はどの程度か？
• RQ3 NSP や言語識別マーカーのような学習目的はクロスリンガルの性能に影響を与えるか？
• RQ4 異なる入力トークン化（文字、語片、語） はクロスリンガル能力にどのように影響するか？

主な発見

• 語彙分割の重複がなくてもクロスリンガル転送は可能であり、語彙分割の重複は性能への寄与が小さい。
• 表面的な重複ではなく、構造的類似性がクロスリンガル転送を駆動する。語順や高次の言語構造が重要。
• モデル深さを増やすと、モノリンガルとクロスリンガルの両方の性能が向上する。総パラメータ数は重要だが、深さの方が影響力が大きい。
• 注意ヘッドの数は決定的ではなく、1つのヘッドでも満足なクロスリンガル結果を得られる。
• Next Sentence Prediction (NSP) はクロスリンガル性能を損なう。入力の言語識別マーカーはクロスリンガル転送に有意な影響を与えない。語彙分割を用いたトークン化（語片または語） は、文字レベルのトークン化より優れている。