[論文レビュー] Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT

Shijie Wu, Mark Dredze|arXiv (Cornell University)|Apr 19, 2019

Topic Modeling参考文献 35被引用数 59

ひとこと要約

本論文は、 multilingual BERT (mBERT) を用いたゼロショットのクロスリンガル転送を、5つのNLPタスクと39言語にわたって調査し、明示的なクロスリンガル信号なしで競争力のあるまたは最先端の結果を示し、層ごとの挙動とサブワード共有を分析する。

ABSTRACT

Pretrained contextual representation models (Peters et al., 2018; Devlin et al., 2018) have pushed forward the state-of-the-art on many NLP tasks. A new release of BERT (Devlin, 2018) includes a model simultaneously pretrained on 104 languages with impressive performance for zero-shot cross-lingual transfer on a natural language inference task. This paper explores the broader cross-lingual potential of mBERT (multilingual) as a zero shot language transfer model on 5 NLP tasks covering a total of 39 languages from various language families: NLI, document classification, NER, POS tagging, and dependency parsing. We compare mBERT with the best-published methods for zero-shot cross-lingual transfer and find mBERT competitive on each task. Additionally, we investigate the most effective strategy for utilizing mBERT in this manner, determine to what extent mBERT generalizes away from language specific features, and measure factors that influence cross-lingual transfer.

研究の動機と目的

• mBERT が多様な言語間でゼロショット転送を可能にする共有されたクロスリンガル空間を学習するかを評価する。
• 従来のゼロショット手法と比較するために、5つのNLPタスクで mBERT を評価する。
• クロスリンガル転送のための効果的なファインチューニングおよび特徴抽出戦略を特定する。
• 層を超えて言語特有の情報がどのように保持されるか、およびサブワード共有が転送に与える影響を調査する。

提案手法

• ベースの cased mBERT (104 言語) を使用し、5つのタスク（MLDoc, XNLI, NER, POS tagging, 依存構造解析）について英語データでファインチューニングする。
• タスク固有の出力層を適用し、Adam 最適化で標準的なファインチューニング（3–4 エポック、学習率約 3e-5）を行う。
• ファインチューニング中に下位層を凍結する（n ∈ {0,3,6,9}）実験を行い、すべての層の特徴ベースの浅い結合（Feats）と比較する。
• ゼロショット設定における各タスクあたり38のターゲット言語に対するクロスリンガル転送性能を測定し、構文解析は UAS/LAS、NER は F1、POS は ACC、MLDoc と XNLI は精度を報告する。
• 層ごとの言語識別精度を分析して、言語特有情報の保持を評価する。
• 言語間のサブワードオーバーラップを WordPiece ボキャブラリを用いて調べ、転送性能との関連を検討する。

実験結果

リサーチクエスチョン

• RQ1 mBERT は、明示的なクロスリンガル監視なしで、広範なタスクにわたる強力なゼロショットクロスリンガル転送を実現できるか。
• RQ2 下位層を凍結することと全パラメータをファインチューニングすることは、タスク間のクロスリンガル転送性能にどのように影響するか。
• RQ3 mBERT の異なる層は、クロスリンガル転送を有効にしつつ、言語特有情報を保持するか、言語特性を抽象化するか。
• RQ4 言語間でサブワードを共有することは転送性能の向上と相関するか、転送に適したソース言語を示すことができるか。

主な発見

• mBERT は5つのタスクすべてにおいて競争力のあるまたは最先端のゼロショットクロスリンガル性能を達成し、しばしば従来のクロスリンガル埋め込みを上回る。
• ファインチューニング時に下位層を固定すると一般に性能が向上し、約6層凍結＋3層を語彙レベルタスクに用いたときに文書分類とNLIで最大の利得が得られる。
• 言語識別テストは、クロスリンガル転送が改善される一方でも、すべての層で言語特有情報が検出可能であることを示している。
• 言語間のサブワードオーバーラップと転送性能には強い正の相関があり、特に4つのタスクでタイプレイヤーおよびトークンレベルのオーバーラップが顕著である（XNLIは除外）。
• 依存構文解析では、gold POS タグなしで平均7.3 UASと0.4 LASの強力なクロスリンガルベースラインを上回る。gold POS タグありでは、さらなる利得（平均1.6 UASと4.7 LAS）。
• 近縁言語と離縁言語の間で転送の差が大きく観察され、離れた言語への転送の改善余地を示している。