[論文レビュー] Identifying Necessary Elements for BERT's Multilinguality

Philipp Dufter, Hinrich Schütze|arXiv (Cornell University)|May 1, 2020

Natural Language Processing Techniques被引用数 10

ひとこと要約

本稿は、BERTの多言語性に不可欠な4つのアーキテクチャ的要因と2つの言語的要因を特定している：共有位置埋め込み、共有特別トークン、ランダムトークンマスキング、パラメータ効率性、一貫した語順、同等の訓練データ。軽量で合成データに基づく設定を用いて、著者らはこれらの要因が効果的なゼロショット多言語転移を可能にすることを実証しており、XNLIにおける3言語での検証を通じて、多言語性は明示的な多言語信号によって向上するのではなく、モデル設計における構造的・表現的整合性によって強化されることを示している。

ABSTRACT

It has been shown that multilingual BERT (mBERT) yields high quality multilingual representations and enables effective zero-shot transfer. This is surprising given that mBERT does not use any crosslingual signal during training. While recent literature has studied this phenomenon, the reasons for the multilinguality are still somewhat obscure. We aim to identify architectural properties of BERT and linguistic properties of languages that are necessary for BERT to become multilingual. To allow for fast experimentation we propose an efficient setup with small BERT models trained on a mix of synthetic and natural data. Overall, we identify four architectural and two linguistic elements that influence multilinguality. Based on our insights, we experiment with a multilingual pretraining setup that modifies the masking strategy using VecMap, i.e., unsupervised embedding alignment. Experiments on XNLI with three languages indicate that our findings transfer from our small setup to larger scale settings.

研究の動機と目的

• 多言語BERT（mBERT）が明示的な多言語トレーニング信号なしに言語を越えて一般化できる要因となるアーキテクチャ的および言語的構成要素を同定すること。
• 合成データと自然言語データを用いた迅速かつ効率的な実験設定を構築し、多言語性に影響を与える要因を隔離・テストすること。
• 過パラメータ化や構造的差異（例：逆転した語順）が多言語表現学習を損なうかどうかを調査すること。
• WikipediaとXNLIを用いて、スケールの小さい実験から得られた知見をより大規模で現実世界の設定に一般化すること。
• 追加の監視情報や複雑な損失関数を用いずに、VecMapを用いたマスキング戦略の整合性を高める単純で非教師ありの修正を提案すること。

提案手法

• 合成（偽英語）および自然（読みやすくした聖書）データを用いて、迅速な実験が可能な小型モデルを用いた最小限のBERT設定を提案する。
• トークン化後にトークンインデックスをずらし、前缀に'::'を付けることで、言語的構造を保持しつつ表現を変更する偽英語を生成する。
• 共有サブワードボキャブラリーと制御されたデータミックスを用いて、アーキテクチャ的および言語的変数を隔離する。
• アーキテクチャ的変更を制御してモデルを訓練する：共有特別トークンの削除（no-special）、共有位置埋め込みの削除（no-pos）、マスクされたトークンをランダムトークンに置き換え（no-random）、トークンインデックスのずらし（shift-special）。
• VecMapを用いて言語間の単語埋め込みを整合させ、マスキング戦略を変更して多言語整合性を向上させる。
• 3言語にわたる文対分類タスクを用いてXNLIで多言語性を評価し、ゼロショット転移性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 BERTのどのアーキテクチャ的構成要素が多言語表現学習に不可欠か？
• RQ2 語順や構造的類似性といった言語的性質は、BERTにおける多言語一般化にどのように影響するか？
• RQ3 過パラメータ化やトレーニング期間の延長が多言語性と矛盾するのか、もしそうならそのメカニズムは？
• RQ4 追加の監視情報なしに、マスクされたトークンの非教師あり整合性を高めることで多言語性を強化できるか？
• RQ5 スケールの小さい合成設定からの知見は、より大規模で現実世界の多言語設定に一般化可能か？

主な発見

• 共有位置埋め込みと共有特別トークンは、多言語表現整合性に不可欠であり、それらを削除すると多言語性が著しく低下する。
• マスクされたトークンを[MASK]ではなくランダムトークンに置き換えることで、多言語性能が著しく向上する。これは動的マスキングが多言語一般化を支援している可能性を示唆している。
• 1つの言語で語順が逆転したモデルは多言語能力を失う。これは一貫した文法的構造が多言語転送に不可欠であることを示している。
• 過パラメータ化と延長されたトレーニング期間は多言語性の低下と関連しており、一般化能力と多言語能力の間にはトレードオフがある可能性がある。
• 提案されたVecMapベースのマスキング戦略は、XNLIにおける多言語性能を向上させ、非教師ありの整合性が追加の監視なしに多言語性を強化できることを示している。
• スケールの小さい設定からの知見は大規模な設定に一般化可能である：変更を加えたモデルは3言語にわたるXNLIで強力なゼロショット性能を達成しており、知見の堅牢性を確認している。