[論文レビュー] mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models

Ryokan Ri, Ikuya Yamada+1 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling被引用数 10

ひとこと要約

本稿では、エンティティ表現を統合することで多言語間転移を向上させるmLUKEを紹介する。pretrainingおよびfine-tuning段階で単語とエンティティの埋め込みを併用することで、mLUKEは多言語QA、NER、関係抽出タスクで優れた性能を達成するとともに、言語に依存しないエンティティ特徴を活用することで、ゼロショットclozeタスクにおける言語バイアスを低減する。

ABSTRACT

Recent studies have shown that multilingual pretrained language models can be effectively improved with cross-lingual alignment information from Wikipedia entities. However, existing methods only exploit entity information in pretraining and do not explicitly use entities in downstream tasks. In this study, we explore the effectiveness of leveraging entity representations for downstream cross-lingual tasks. We train a multilingual language model with 24 languages with entity representations and show the model consistently outperforms word-based pretrained models in various cross-lingual transfer tasks. We also analyze the model and the key insight is that incorporating entity representations into the input allows us to extract more language-agnostic features. We also evaluate the model with a multilingual cloze prompt task with the mLAMA dataset. We show that entity-based prompt elicits correct factual knowledge more likely than using only word representations. Our source code and pretrained models are available at https://github.com/studio-ousia/luke.

研究の動機と目的

• エンティティ表現が多言語言語モデルにおける多言語間転移を改善するかどうかを調査すること。
• エンティティ表現をpretrainingを越えて下流タスクで明示的に活用する方法を検討すること。
• エンティティベースのプロンプトが多言語clozeタスクにおける言語バイアスを低減するかどうかを評価すること。
• エンティティ表現が単語のみの表現よりも言語に依存しない特徴を抽出するかどうかを分析すること。
• エンティティに配慮したpretrainingと推論を備えた多言語拡張版LUKEの提供

提案手法

• Wikipediaのエンティティリンクを用いて24ヶ国語でマスク言語モデル（MLM）とマスクエンティティ予測（MEP）のpretrainingを実施する多言語BERTベースのモデルを訓練する。
• 検出されたエンティティトークンを入力に追加することで、エンティティ表現を入力シーケンスに統合し、モデルが単語とエンティティの両方に注目できるようにする。
• NER、関係抽出、QAなどの下流タスクに使用するため、エンティティ[MASK]トークンの文脈的表現を言語に依存しない特徴として活用する。
• エンティティ[MASK]トークンを用いてクローズド形式のプロンプトを実行することで、エンティティボキャブラリからの事実知識を引き出す。
• エンティティ埋め込みを多言語知識ベースから初期化し、MLMとMEPの両方を組み合わせた共同目的関数でモデルを訓練する。
• 下流タスクのクロスリンガル転移に適応させるために、単語ベースとエンティティ強化型の両方の入力形式を用いてmLUKEを微調整する。

実験結果

リサーチクエスチョン

• RQ1 エンティティ表現は多言語モデルにおける多言語間転移性能を向上させることができるか？
• RQ2 エンティティ表現を用いることで、ゼロショット多言語プロンプティングにおける言語バイアスが低減するか？
• RQ3 エンティティベースの特徴は、下流NLPタスクにおける単語のみの特徴と比較してどのように異なるか？
• RQ4 エンティティ[MASK]トークンは、メンションレベル分類タスクの有効な特徴抽出器として機能するか？
• RQ5 エンティティ表現は、言語に依存しない表現を学習するのにどの程度寄与するか？

主な発見

• mLUKE-E（エンティティ強化型）は、XQuADとMLQAでmBERTおよびmLUKE-W（単語のみ）を上回り、ゼロショット多言語QAにおいてXQuADで78.5 F1、MLQAで76.1 F1を達成した。
• RELXおよびCoNLL NERでは、それぞれ78.2 F1および89.1 F1を達成し、単語ベースのベースラインと比較して一貫した向上を示した。
• clozeプロンプトタスクにおけるmLUKE-Eのトップ1不正解率は、フランス語で27%、日本語で44%、イタリア語で30%であり、mBERTのフランス語での71%と比べ顕著に低いことが示され、言語バイアスが低減していることが裏付けられた。
• エンティティベースのプロンプトは、特にリソースが少ない言語において、単語ベースのプロンプトよりも事実知識をより信頼性高く引き出せる。
• 分析の結果、エンティティ表現が言語に依存しない特徴をより効果的に抽出することが確認され、ゼロショット転送性能の向上と言語固有の予測優位性の低減が裏付けられた。
• モデルは、エンティティ表現がpretrainingにとどまらず、明示的な下流タスクでの特徴抽出にも有効であることを示した。特に、エンティティ[MASK]表現をクエリ可能な特徴として活用する場合に顕著であった。