[論文レビュー] Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning

Tao Shen, Yi Mao+4 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 44被引用数 8

ひとこと要約

本論文は、自己教師あり事前学習中に知識グラフ（KG）からの構造的知識を事前学習済み言語モデルに統合するグラフガイドド表現学習フレームワークを提案する。KGを用いてエンティティレベルのマスキングをガイドし、誤検出抑制型ランク付け目的関数を採用することで、推論時に検索を必要とせず、質問応答や知識ベース補完などの下流タスクで性能を向上させ、5つのベンチマークで最先端の結果を達成した。

ABSTRACT

In this work, we aim at equipping pre-trained language models with structured knowledge. We present two self-supervised tasks learning over raw text with the guidance from knowledge graphs. Building upon entity-level masked language models, our first contribution is an entity masking scheme that exploits relational knowledge underlying the text. This is fulfilled by using a linked knowledge graph to select informative entities and then masking their mentions. In addition we use knowledge graphs to obtain distractors for the masked entities, and propose a novel distractor-suppressed ranking objective which is optimized jointly with masked language model. In contrast to existing paradigms, our approach uses knowledge graphs implicitly, only during pre-training, to inject language models with structured knowledge via learning from raw text. It is more efficient than retrieval-based methods that perform entity linking and integration during finetuning and inference, and generalizes more effectively than the methods that directly learn from concatenated graph triples. Experiments show that our proposed model achieves improved performance on five benchmark datasets, including question answering and knowledge base completion tasks.

研究の動機と目的

• 事前学習済み言語モデルが知識グラフ（KG）からの構造的関係的知識を効果的に活用できるようにすること。
• ファインチューニングおよび推論時に高コストなエンティティリンクや検索に依存するのを減らすこと。
• 固定された三項節ではなく自由形式のテキストから学習することで一般化性能を向上させること。
• テキスト内の関係的および論理的情報を活用する自己教師あり事前学習目的関数を開発すること。
• KGを事前学習時にのみ使用し、マスクド言語モデルに構造的知識を暗黙的に統合すること。

提案手法

• ドキュメント頻度およびKG内での相互到達可能性に基づいて情報量の多いエンティティを選択するKGガイドドのエンティティマスキング方式を導入する。
• KGを用いて、マスキングされたエンティティのための誤検出候補（ダミー）を生成する、新規の誤検出抑制型ランク付け目的関数を採用する。
• エンティティマスキングとランク付け目的関数を事前学習中に同時に最適化することで表現学習を向上させる。
• 個々のトークンではなく、エンティティの表記全体をマスキングするエンティティレベルのマスクド言語モデリング目的関数を採用する。
• 事前学習済み言語モデル（例：BERT）をバックボーンとして採用し、KGガイドは事前学習時のみに使用する。
• KGの三項節を直接使用しない。代わりに、訓練中に動的かつエンティティおよびネガティブサンプルのソースとしてKGを活用する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり事前学習を通じて、知識グラフ（KG）からの構造的知識が事前学習済み言語モデルに効果的に統合可能か？
• RQ2 KGガイドドのエンティティマスキングが、テキスト内の関係的および論理的依存関係を学習する能力を向上させるか？
• RQ3 誤検出抑制型ランク付け目的関数が、正しいエンティティと妥当な代替候補との区別能力を向上させるか？
• RQ4 効率性および一般化性能の観点から、本手法は検索ベースまたは三項節ファインチューニング手法と比較してどのように差がつくか？
• RQ5 KGガイドドの事前学習が、質問応答や知識ベース補完などの下流タスクの性能をどの程度向上させるか？

主な発見

• 提案手法は、質問応答および知識ベース補完タスクを含む5つのベンチマークデータセットで最先端または競争力のある性能を達成した。
• KGガイドドのエンティティマスキング方式は、ランダムエンティティマスキング、ランダムスパンマスキング、およびホールワードマスキングよりも、訓練効率および表現品質の観点で優れている。
• 誤検出抑制型ランク付け目的関数は、正しいエンティティと妥当なネガティブサンプルとの区別能力を顕著に向上させた。
• 本手法は、固定されたKG三項節ではなく自由形式のテキストから学習するため、三項節ファインチューニング手法よりも一般化性能に優れている。
• 実験により、推論時に検索やリンク処理を必要とせず、KGガイドが事前学習段階でのみ有効に機能することが示された。
• アブレーションスタディにより、エンティティマスキング戦略および誤検出抑制型ランク付け目的関数の両方が、性能向上に有意に寄与していることが確認された。