[論文レビュー] What makes multilingual BERT multilingual?

Chi-Liang Liu, Tsung-Yuan Hsu+2 more|arXiv (Cornell University)|Oct 20, 2020

Topic Modeling参考文献 22被引用数 7

ひとこと要約

この論文は、同一の事前学習条件下で文脈を考慮したBERTと文脈を考慮しない単語埋め込み（GloVe、Word2Vec）を比較することにより、多言語BERTの多言語間転移能力の起源を調査する。大規模な事前学習データとアテンションによる長距離依存関係のモデリングが、多言語間整合性に不可欠であることが判明した。一方、文脈を考慮しないモデルは、同じデータと文脈窓サイズであっても、同様の性能を達成できないことが示された。

ABSTRACT

Recently, multilingual BERT works remarkably well on cross-lingual transfer tasks, superior to static non-contextualized word embeddings. In this work, we provide an in-depth experimental study to supplement the existing literature of cross-lingual ability. We compare the cross-lingual ability of non-contextualized and contextualized representation model with the same data. We found that datasize and context window size are crucial factors to the transferability.

研究の動機と目的

• 多言語BERTが文脈を考慮しない埋め込みと比較して優れた多言語間転移性能を発揮する要因を特定すること。
• データサイズと文脈窓長さが多言語モデルにおける多言語間整合性に与える影響を分離して評価すること。
• 多言語BERTと同一の条件下で学習された文脈を考慮しない埋め込み（GloVe、Word2Vec）が、同等の多言語間能力を達成できるかどうかを調査すること。
• 品詞の種別ごとに、多言語BERT内での多言語間整合性がどのように、どこで発生するかを分析すること。

提案手法

• 15言語のWikipediaデータを用いて、語彙とワードピeceトークナイゼーションを制御した上で、GloVe、Word2Vec、BERTを再学習から開始する。
• MUSEの二語対訳辞書を用いた語の検索タスクでMRR（平均逆順位）を評価し、多言語間整合性を測定する。
• 14言語にわたるXNLIベンチマークを用いて、ゼロショット多言語間転移性能を評価する。
• 事前学習データサイズを20万文と100万文に変化させ、データスケールの影響を調査する。
• 入力シーケンス長さを20トークンに変更し、文脈窓の縮小を模擬することで、長距離依存関係モデリングへの影響を評価する。
• 品詞（POS）タグごとに整合性性能を分析し、開放語類（名詞、動詞、形容詞、副詞）と閉鎖語類（代名詞、前置詞）に分類する。

実験結果

リサーチクエスチョン

• RQ1 多言語BERTの多言語間能力において、事前学習データサイズが果たす役割は何か？文脈を考慮しないモデルと比較して。
• RQ2 文脈窓サイズ（すなわち、長距離依存関係のモデリング）が、BERTと文脈を考慮しない埋め込みの両者における多言語間整合性に与える影響は何か？
• RQ3 BERTと同一のデータと文脈窓サイズで学習された文脈を考慮しない単語埋め込み（GloVe、Word2Vec）は、同等の多言語間整合性を達成できるか？
• RQ4 多言語BERTにおいて、どの品詞カテゴリが最も強い多言語間整合性を示すか？

主な発見

• 1言語あたり100万文の大きな事前学習データサイズは、BERTにおける多言語間整合性を顕著に向上させるが、20万文の小規模データでは、同じモデルアーキテクチャであっても性能が制限される。
• 入力文脈窓を20トークンに短縮すると、語の検索タスクおよびXNLIタスクの両方でBERTの多言語間性能が著しく低下し、長距離依存関係モデリングが不可欠であることが示された。
• BERTと同一のデータと文脈窓サイズで学習された文脈を考慮しないモデル（GloVe、Word2Vec）は、同等の多言語間整合性を達成できず、文脈化の独自の貢献が明確に示された。
• BERTは開放語類（例：名詞、形容詞）における多言語間整合性が閉鎖語類よりも高く、特に形容詞が最も高いMRRスコアを記録した。
• XNLIのゼロショット転移タスクでは、14言語すべてのターゲット言語でBERTがGloVeおよびWord2Vecを上回り、語の検索MRRスコアと強い相関関係が確認された。
• 小規模データ環境（20万文）では、文脈窓を短縮することでBERTの整合性が向上した。これは、限られたデータでは長距離モデリングを単純化することが有益である可能性を示唆している。