[論文レビュー] Knowledge Based Multilingual Language Model

Linlin Liu, Xin Li+4 more|arXiv (Cornell University)|Nov 22, 2021

Topic Modeling参考文献 26被引用数 5

ひとこと要約

本稿では、多言語のWikidata知識グラフを活用して合成されたコードスイッチドおよび推論ベースの学習データを生成する、知識ベースの多言語言語モデル（KMLMs）を提案する。文内および文間の事前学習タスクを設計することで、KMLMsは言語をまたいで事実知識と論理的パターンを学習し、名前付きエンティティ認識、知識検索、関係分類、論理的推論を含む多言語NLPタスクで顕著な向上を達成する。

ABSTRACT

Knowledge enriched language representation learning has shown promising performance across various knowledge-intensive NLP tasks. However, existing knowledge based language models are all trained with monolingual knowledge graph data, which limits their application to more languages. In this work, we present a novel framework to pretrain knowledge based multilingual language models (KMLMs). We first generate a large amount of code-switched synthetic sentences and reasoning-based multilingual training data using the Wikidata knowledge graphs. Then based on the intra- and inter-sentence structures of the generated data, we design pretraining tasks to facilitate knowledge learning, which allows the language models to not only memorize the factual knowledge but also learn useful logical patterns. Our pretrained KMLMs demonstrate significant performance improvements on a wide range of knowledge-intensive cross-lingual NLP tasks, including named entity recognition, factual knowledge retrieval, relation classification, and a new task designed by us, namely, logic reasoning. Our code and pretrained language models will be made publicly available.

研究の動機と目的

• 既存の知識ベースの言語モデルが単一言語の知識グラフに依存しているため、単一言語に限定されるという限界を解消すること。
• Wikidataのような多言語知識グラフから効果的に学習できる多言語言語モデルの事前学習フレームワークを開発すること。
• 多言語環境における多言語間知識移転と論理的推論を可能にする高品質な合成学習データを生成すること。
• 言語をまたいで事実知識と論理的推論パターンを捉えること前学習タスクを設計すること。
• 名前付きエンティティ認識、事実知識検索、関係分類、および新たに導入された論理的推論タスクを含む多様な知識集約型多言語NLPタスクでモデルを評価すること。

提案手法

• フレームワークは、Wikidata知識グラフを用いて大規模な合成コードスイッチド文および推論ベースの多言語学習データを生成する。
• 文内および文間の事前学習タスクを設計することで、言語をまたいで事実知識と論理的推論パターンを捉える。
• 合成多言語データ上でモデルを事前学習させ、事実および関係的知識で豊かにされた多言語表現を学習する。
• 生成されたデータの構造的パターンに注目することで、言語やタスクをまたいで一般化を向上させる。
• 共有される多言語知識を活用して、下流の多言語タスクにおけるゼロショットおよびフェイントショット転移を可能にする。
• 最終的なKMLMは、名前付きエンティティ認識、事実知識検索、関係分類、および新しい論理的推論タスクで評価される。

実験結果

リサーチクエスチョン

• RQ1 Wikidataのような多言語知識グラフから派生する合成データを用いて、多言語言語モデルを効果的に事前学習できるか？
• RQ2 このようなモデルは、事実知識に加えて、言語をまたいで論理的推論パターンをどの程度学習できるか？
• RQ3 KMLMは、多言語知識集約型NLPタスクにおいて、単一言語の知識ベースモデルと比較してどの程度の性能を示すか？
• RQ4 未知の言語やタスクにおいて、ゼロショットまたはフェイントショット設定に一般化できるか？
• RQ5 文内および文間の事前学習タスクは、多言語環境における知識記憶力と推論能力にどのような影響を与えるか？

主な発見

• KMLMは多言語名前付きエンティティ認識タスクで顕著な性能向上を達成し、単一言語ベースラインを上回る。
• 複数の言語で事実知識検索において優れた性能を示しており、効果的な多言語知識移転が実現していることが示唆される。
• 関係分類タスクでも顕著な向上を示しており、多言語文脈における関係的事実の理解が強化されていることが確認された。
• 新たに導入された論理的推論タスクでも良好な性能を発揮し、言語をまたいで論理的パターンを学習・適用できる能力が裏付けられた。
• 合成データ生成と事前学習タスクにより、モデルは事実知識を記憶するとともに、有用な推論構造を学習できるようになった。
• ゼロショットおよびフェイントショット設定でも効果的であることが示され、言語やタスクをまたいで強い一般化能力を有していることが示された。