[論文レビュー] A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT

Chi-Liang Liu, Tsung-Yuan Hsu+2 more|arXiv (Cornell University)|Apr 20, 2020

Topic Modeling参考文献 26被引用数 9

ひとこと要約

本稿は、多言語Bert（m-BERT）における多言語間転移を調査し、大規模な事前学習データと長いコンテキスト窓が多言語間整合性に重要であることを示している。本稿では、言語固有の表現を分離するための単純で計算効率の良い手法—平均差分シフト（MDS）—を提案し、微調整を伴わずにゼロショット多言語間転移を向上させるとともに、潜在表現の操作によって無教師トークン翻訳を実現している。

ABSTRACT

Recently, multilingual BERT works remarkably well on cross-lingual transfer tasks, superior to static non-contextualized word embeddings. In this work, we provide an in-depth experimental study to supplement the existing literature of cross-lingual ability. We compare the cross-lingual ability of non-contextualized and contextualized representation model with the same data. We found that datasize and context window size are crucial factors to the transferability. We also observe the language-specific information in multilingual BERT. By manipulating the latent representations, we can control the output languages of multilingual BERT, and achieve unsupervised token translation. We further show that based on the observation, there is a computationally cheap but effective approach to improve the cross-lingual ability of multilingual BERT.

研究の動機と目的

• m-BERTの多言語間転移性能に与えるデータサイズおよびコンテキスト窓長の役割を理解すること。
• m-BERTの潜在表現に、多言語間能力があるにもかかわらず、言語固有の情報が残存するかどうかを調査すること。
• 潜在表現を操作することで、m-BERTの出力言語を制御する手法を開発すること。
• 言語固有表現の分離を用いて、ゼロショット多言語間転移性能を向上させること。
• 単純で効率的な手法が、追加の学習や並列データなしにm-BERTの多言語間転移を向上させられることを実証すること。

提案手法

• 同じ学習データを用いた非文脈的単語埋め込みと比較して、m-BERTの多言語間性能を評価した。
• 学習データサイズとコンテキスト窓長の変化が多言語間整合性および転送可能性に与える影響を評価した。
• 平均差分シフト（MDS）を提案した。これは、すべての隠れ表現に固定の言語固有ベクトルを加えることで出力言語を制御する手法である。
• MDSを、言語固有情報が最も顕著に現れる最後の数層に適用し、ゼロショット転移を向上させた。
• MDSを用いて、表現をターゲット言語の意味に一致させるようにシフトさせることで、無教師トークン翻訳を可能にした。
• m-BERTを英語XNLIデータで微調整したが、初期層は固定した。その後、最終分類層の直前で隠れ状態にMDSを適用した。

実験結果

リサーチクエスチョン

• RQ1 データサイズおよびコンテキスト窓長は、m-BERTの多言語間転移性能にどのように影響するか？
• RQ2 m-BERTの潜在表現に、どの程度言語固有情報が保持されているか？
• RQ3 言語固有表現を分離・操作することで、m-BERTの出力言語を制御できるか？
• RQ4 MDSのような単純でパラメータフリーな手法が、m-BERTにおけるゼロショット多言語間転移を向上させられるか？
• RQ5 MDSは、微調整なしにXNLIなどの下流の多言語間タスクで性能を向上させるか？

主な発見

• 大規模な学習データと長いコンテキスト窓は、m-BERTの多言語間整合性および転移性能を顕著に向上させる。
• 言語固有情報はm-BERTの表現に残存しており、特に最終層に顕著である。これにより、MDSを用いた出力言語の制御が可能である。
• 最後の数層にα=3.0のシフト重みを適用したMDSは、無教師翻訳における大多数の言語でBLEU-1スコアを向上させた。特に10番目および11番目の層で顕著な向上が見られた。
• XNLIテストセットでは、最適なα値を各言語ごとに使用した場合、平均精度を58.00％から62.24％に向上させた。スペイン語およびフランス語を除き、大多数の言語で向上が観察された。
• MDSの効果は、最後の数層に適用した場合に最も顕著であり、これらの層がより多くの言語固有情報を持つという先行研究の結果と整合的である。
• スペイン語およびフランス語ではMDSの効果が得られなかった。これは、英語とのサブワードオーバーラップが高いためであり、より洗練された語彙に配慮したシフトメカニズムの必要性を示唆している。