[論文レビュー] DICT-MLM: Improved Multilingual Pre-Training using Bilingual Dictionaries

Aditi Chaudhary, Karthik Raman+2 more|arXiv (Cornell University)|Oct 23, 2020

Topic Modeling参考文献 21被引用数 17

ひとこと要約

本稿では、二国語辞書を用いて、元の言語のマスクされたトークンに加え、それらの対応語（翻訳語）を予測させるようにBERTベースのモデルを訓練する、多言語事前学習手法DICT-MLMを提案する。この手法は、ゼロショットの多言語間転移タスクにおいて、mBERT や高価な並列コーパスで学習されたモデルを上回る最先端の性能を達成し、PAWS-Xでは最大+5.3の精度向上、多言語文脈照合タスクでは20%以上の向上を達成した。

ABSTRACT

Pre-trained multilingual language models such as mBERT have shown immense gains for several natural language processing (NLP) tasks, especially in the zero-shot cross-lingual setting. Most, if not all, of these pre-trained models rely on the masked-language modeling (MLM) objective as the key language learning objective. The principle behind these approaches is that predicting the masked words with the help of the surrounding text helps learn potent contextualized representations. Despite the strong representation learning capability enabled by MLM, we demonstrate an inherent limitation of MLM for multilingual representation learning. In particular, by requiring the model to predict the language-specific token, the MLM objective disincentivizes learning a language-agnostic representation -- which is a key goal of multilingual pre-training. Therefore to encourage better cross-lingual representation learning we propose the DICT-MLM method. DICT-MLM works by incentivizing the model to be able to predict not just the original masked word, but potentially any of its cross-lingual synonyms as well. Our empirical analysis on multiple downstream tasks spanning 30+ languages, demonstrates the efficacy of the proposed approach and its ability to learn better multilingual representations.

研究の動機と目的

• 標準的なマスク言語モデル（MLM）が言語に依存しない表現を学習する点での限界を是正し、多言語的同等語の予測を促すことで、言語に依存しない表現学習を向上させること。
• 高価な並列コーパスに依存せずに、ゼロショット設定における多言語間転移性能を向上させること。
• 並列データを用いた既存手法と比較して、低リソースの二国語辞書が多言語表現学習を顕著に向上させられることを示すこと。
• 利用可能な二国語辞書のない言語に対しても、提案手法の事前学習が依然として利益をもたらすかどうかを検証すること。
• 言語条件付き層のようなアーキテクチャの変更が、多言語間の整合性を向上させる能力にどのように寄与するかを調査すること。

提案手法

• DICT-MLMは、標準的なMLMを拡張し、マスクされたトークンの元の語だけでなく、二国語辞書に記録された多言語的同等語のいずれかを予測できるようにする。
• 事前学習の過程で、マスクされたトークンが二国語辞書に記録された多言語的同等語に置き換えられ、同じ文脈に対して多様な訓練例が生成される。
• 変換器エンコーダの後に、ターゲット言語を条件として与えることで、多言語的同等語の予測を向上させる言語条件付き全結合層を追加する。
• 訓練中に明示的な言語信号を提供するために、入力層に言語埋め込みを追加する。
• 本手法は、二国語辞書からの数千の多言語語対のみを用い、大規模な並列コーパスの必要性を回避する。
• 40種類の言語的タイプにわたる多様な言語の単語コーパスから、合成語置換によるデータ拡張を伴い、モノリンガルコーパスからスクラッチで事前学習を行う。

実験結果

リサーチクエスチョン

• RQ1 多言語的同等語の予測を促す事前学習目的が、標準的なMLMを上回る多言語表現学習を実現できるか？
• RQ2 高価な並列コーパスではなく、二国語辞書のみを用いることで、多言語間転移タスクで競争的または優れた性能が得られるか？
• RQ3 言語条件付き層のようなアーキテクチャの変更が、モデルの多言語間一般化能力にどの程度寄与するか？
• RQ4 公に利用可能な二国語辞書のない言語に対しても、DICT-MLMの事前学習が依然として利益をもたらすか？
• RQ5 多様なNLPタスクにおけるゼロショット多言語間転移において、DICT-MLMはmBERTや他の最先端モデルと比較してどの程度優れているか？

主な発見

• DICT-MLMは、全評価タスクでmBERTを上回り、NERでは+2.4のF1向上、全言語でPOSでは+3.7の精度向上を達成した。
• XNLIでは+0.5の精度向上、MLDOC-Headlineでは+2.5の精度向上を示し、強力なゼロショット一般化能力を示した。
• TATOEBAの多言語文脈照合ベンチマークでは20%以上の向上を示し、顕著な多言語間整合性の向上を示した。
• PAWS-Xでは最大+5.3の精度向上を記録し、文レベルの意味的類似度タスクにおける有効性を強力に示した。
• 利用可能な二国語辞書のない言語に対しても、DICT-MLMの事前学習が依然として利益をもたらすことが示され、低リソース言語への広範な適用可能性を示唆した。
• アブレーションスタディの結果、言語条件付き層はNERにおいて特に有益である一方、POSやPAWS-Xではわずかに性能が向上する傾向にあり、タスク依存の効果が示された。