[論文レビュー] XLM-K: Improving Cross-Lingual Language Model Pre-training with Multilingual Knowledge

Xiaoze Jiang, Yaobo Liang+2 more|arXiv (Cornell University)|Sep 26, 2021

Topic Modeling被引用数 9

ひとこと要約

XLM-K は、マスクされたエンティティ予測とオブジェクト含意の2つの新規事前学習タスクを導入することで、多言語知識を統合することにより、多言語間言語モデリングを向上させる。多言語知識ベースを活用してエンティティおよび関係の理解を向上させることで、MLQA、NER、XNLI で最先端の性能を達成し、知識集約型および多言語間転移タスクで顕著な向上を示す。

ABSTRACT

Cross-lingual pre-training has achieved great successes using monolingual and bilingual plain text corpora. However, most pre-trained models neglect multilingual knowledge, which is language agnostic but comprises abundant cross-lingual structure alignment. In this paper, we propose XLM-K, a cross-lingual language model incorporating multilingual knowledge in pre-training. XLM-K augments existing multilingual pre-training with two knowledge tasks, namely Masked Entity Prediction Task and Object Entailment Task. We evaluate XLM-K on MLQA, NER and XNLI. Experimental results clearly demonstrate significant improvements over existing multilingual language models. The results on MLQA and NER exhibit the superiority of XLM-K in knowledge related tasks. The success in XNLI shows a better cross-lingual transferability obtained in XLM-K. What is more, we provide a detailed probing analysis to confirm the desired knowledge captured in our pre-training regimen. The code is available at https://github.com/microsoft/Unicoder/tree/master/pretraining/xlmk.

研究の動機と目的

• 既存の多言語モデルが言語間の知識、特にエンティティおよび関係の意味を捉える能力に限界を示す問題に対処する。
• 単語・二言語のテキストを超えて、言語に依存しない多言語知識を事前学習に組み込むことで、多言語間転移性を向上させる。
• 構造的かつ記述的な知識を多言語表現に明示的に統合する、知識に配慮した事前学習タスクを設計する。
• 事実的知識と多言語間整合性を要する下流タスクにおける知識統合の有効性を評価する。
• 事前学習中に意図された知識表現が正しく学習されているかどうかを、実証的およびプロービング的証拠で示す。

提案手法

• 多言語知識ベースからの記述を用いて、文内のマスクされたエンティティを予測する『マスクエンティティ予測（MEP）』タスクを導入する。
• 知識ベースの多言語記述を用いて、主語と関係に基づき、対象エンティティを予測する『オブジェクト含意（OE）』タスクを提案する。
• 事前学習中にコントラスト学習を用い、正例（正しいエンティティペア）と負例を区別する。
• 標準的なマスク言語モデル（MLM）および翻訳言語モデル（TLM）と組み合わせ、マルチタスク事前学習フレームワークで2つの知識タスクを統合する。
• 多言語知識ベース（例：Wikidata）を活用して、複数言語でのエンティティ記述および三元組（$<$主語, 関係, 対象$>$）を取得する。
• 主語および対象を多言語記述でエンコードするデュアルエンコーダー構造を採用し、多言語間整合性を実現する。

実験結果

リサーチクエスチョン

• RQ1 事前学習に多言語知識を統合することで、下流タスクにおける多言語間転移性能が向上するか？
• RQ2 マスクエンティティ予測やオブジェクト含意といった知識に配慮した事前学習タスクは、モデルの事実的知識の把握能力にどのように影響するか？
• RQ3 XLM-R や他の多言語モデルと比較して、XLM-K は MLQA や NER のような知識集約型ベンチマークでどの程度優れているか？
• RQ4 多言語知識の統合により、オープンドメイン質問応答および常識的推論の能力が向上するか？
• RQ5 事前学習中に、構造的かつ記述的知識が正しく学習され、保持されている証拠は何か？

主な発見

• XLM-K は MLQA および NER で最先端の性能を達成し、XLM-R や他の多言語モデルと比較して、特に知識集約型シナリオで顕著な向上を示す。
• XNLI ベンチマークでは、二言語データを必要とせずに、既存のモデルを上回る優れた多言語間転移性を示す。
• アブレーションスタディでは、マスクエンティティ予測およびオブジェクト含意タスクがそれぞれ独立して性能向上に寄与しており、Google-RE で MEP が 0.6、OE が 2.5 の向上を示す。
• LAMA プロービングタスクでは、SQuAD で XLM-R base より 6.0 ポイント向上し、T-REx で 29.7 の総得点を記録し、すべてのベースラインを上回る。
• 事例スタディでは、XLM-K がタシラ・ムワーレの生年である「1984」と、グノッチの分類としての「food」を正しく予測している一方、XLM-R base は失敗している。
• プロービング解析により、XLM-K は構造的および記述的知識を効果的に捉えており、事実的知識統合の向上が明確に裏付けられている。