[論文レビュー] KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation

Xiaozhi Wang, Tianyu Gao+5 more|arXiv (Cornell University)|Nov 13, 2019

Topic Modeling参考文献 66被引用数 80

ひとこと要約

KEPLERは、エンティティの説明をPLMを通じてエンコードし、知識埋め込みとマスクド言語モデリングの目的を同時に最適化することにより、知識埋め込みと事前学習済み言語モデルを統合し、帰納的知識埋め込みとNLP性能の向上を実現します。

ABSTRACT

Pre-trained language representation models (PLMs) cannot well capture factual knowledge from text. In contrast, knowledge embedding (KE) methods can effectively represent the relational facts in knowledge graphs (KGs) with informative entity embeddings, but conventional KE models cannot take full advantage of the abundant textual information. In this paper, we propose a unified model for Knowledge Embedding and Pre-trained LanguagE Representation (KEPLER), which can not only better integrate factual knowledge into PLMs but also produce effective text-enhanced KE with the strong PLMs. In KEPLER, we encode textual entity descriptions with a PLM as their embeddings, and then jointly optimize the KE and language modeling objectives. Experimental results show that KEPLER achieves state-of-the-art performances on various NLP tasks, and also works remarkably well as an inductive KE model on KG link prediction. Furthermore, for pre-training and evaluating KEPLER, we construct Wikidata5M, a large-scale KG dataset with aligned entity descriptions, and benchmark state-of-the-art KE methods on it. It shall serve as a new KE benchmark and facilitate the research on large KG, inductive KE, and KG with text. The source code can be obtained from https://github.com/THU-KEG/KEPLER.

研究の動機と目的

• 知識グラフと事前学習済み言語モデルのギャップを、知識埋め込みと言語モデリングを共同でモデル化することで埋める。
• エンティティの説明を活用してテキスト強化型知識埋め込みを生成する。
• 未知のエンティティに対する帰納的知識埋め込みを記述テキストによって可能にする。
• 標準的なPLMsを超える推論オーバーヘッドなしに、事実的知識を統合しつつ強い言語理解を維持する。

提案手法

• 共有PLMを用いてテキストのエンティティ説明をエンコードし、エンティティ埋め込みを得る。
• 単一のマルチタスクフレームワークで、知識埋め込み（KE）目的とマスクド言語モデリング（MLM）目的を同時に最適化する。
• エンティティ説明を埋め込みとするKEの変種、エンティティとリレーションの説明を埋め込みとする変種、リレーションに条件づけられたエンティティ埋め込みを含むKEの変種を探る。
• エンティティとリレーション表現を訓練するため、負サンプリングを用いたKEのTransE風のスコアリング関数を使用する。
• RoBERTa baseから初期化し、エンティティ説明の最初の512トークンにKE目的を適用してWikipediaとBookCorpusで事前学習する。

実験結果

リサーチクエスチョン

• RQ1 統合されたモデルは、知識埋め込みと言語モデリングを同時に学習して、KGタスクとNLPタスクの双方を改善できるか？
• RQ2 エンティティ説明を埋め込みとしてエンコードすることは、帰納的知識埋め込みとリンク予測にどう影響するか？
• RQ3 既存のベースラインと比較した場合、NLPベンチマークとKEベンチマークにおけるKEPLERの性能向上はどの程度か？
• RQ4 KE目的が事前学習を推進する場合、MLM目的は言語理解にとって依然として重要か？
• RQ5 大規模KGデータおよび未知エンティティを含む帰納的設定で、KEPLERはどのように性能を発揚するか？

主な発見

• KEPLERの変種、特にKEPLER-Wikiは、TACRED、FewRel、OpenEntity、GLUEでベースラインと比べてNLPタスクで高い性能を実現する。
• KEPLERは最先端結果に競合し、KG由来の知識を取り入れると関係分類とエンティティ型指定で顕著な改善を示す。
• KEPLERはWikidata5Mで、トランスダクティブおよび帰納的リンク予測のKEモデルとして卓越しており、未知エンティティに対する効果的な帰納能力を強調する。
• Wikidata5Mは、エンティティ説明が整列された大規模KGデータセットで、帰納的分割を含み、大規模KGの事前学習と帰納的KEをベンチマークする。
• GLUEでは、KEPLER-WikiがRoBERTaにほぼ匹敵し、知識の統合が一般的な言語理解を大きく損なわないことを示す。一方、説明のみの小型変種は性能が劣り、多様なMLMデータの重要性を強調する。