[論文レビュー] Tackling Long-Tailed Relations and Uncommon Entities in Knowledge Graph Completion

Zihao Wang, Kwun Ping Lai+3 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿では、テキスト記述を活用して、長尾関係とめったに現れないエンティティを同時に扱う、少数ショット知識グラフ補完のためのメタラーニングフレームワークを提案する。関係固有の特徴抽出モジュールと変分オートエンコーダを用いたトリプレット生成を導入し、実世界のKG（DBPediaやWikidata）におけるレア関係およびエンティティにおいて、性能が顕著に向上する。

ABSTRACT

For large-scale knowledge graphs (KGs), recent research has been focusing on the large proportion of infrequent relations which have been ignored by previous studies. For example few-shot learning paradigm for relations has been investigated. In this work, we further advocate that handling uncommon entities is inevitable when dealing with infrequent relations. Therefore, we propose a meta-learning framework that aims at handling infrequent relations with few-shot learning and uncommon entities by using textual descriptions. We design a novel model to better extract key information from textual descriptions. Besides, we also develop a novel generative model in our framework to enhance the performance by generating extra triplets during the training stage. Experiments are conducted on two datasets from real-world KGs, and the results show that our framework outperforms previous methods when dealing with infrequent relations and their accompanying uncommon entities.

研究の動機と目的

• 従来の研究で無視されがちな、希少な関係およびめったに現れないエンティティの知識グラフ補完の課題に対処すること。
• 両方の関係とエンティティが希少でデータが不足している状況を、少数ショット学習のタスクとして定式化すること。
• 構造的情報に加えて、テキスト記述を活用することで、めったに現れないエンティティの表現学習を改善すること。
• 生成的トリプレットモデルによるデータ拡張を通じて、モデルの一般化性能を向上させること。
• より良い少数ショット一般化を実現するため、関係固有の特徴とエンティティ記述を統合的にモデル化する統合フレームワークの構築

提案手法

• エンティティのテキスト記述から、エンティティが複数の関係に参加している場合でさえも関係固有の特徴を抽出できる、新しい記述エンコーダ。
• 条件付きVAEに基づくトリプレット生成器（TCVAE）で、少数ショット設定におけるデータスパarsityを軽減するための合成学習トリプレットを生成。
• Reptile最適化を用いたメタラーニングフレームワークにより、新しい未観測の関係およびエンティティに迅速に適応可能な初期化を学習。
• 記述エンコーダとトリプレット生成器を共同で訓練することで、表現品質とデータ効率を向上。
• エンティティおよび関係の記述を入力特徴として用い、各関係に応じて関連する情報を注目するためのアテンション機構を導入。
• 実世界のKG（DBPediaとWikidata）を対象とし、1ショットおよび4ショット設定で評価することで、希少関係およびエンティティのシナリオを模擬。

実験結果

リサーチクエスチョン

• RQ1 長尾関係とめったに現れないエンティティの両方を同時に改善できる知識グラフ補完の方法は何か？
• RQ2 エンティティが複数の関係に参加している場合でも、エンティティ記述から関係固有の情報を効果的に抽出できるか？
• RQ3 合成トリプレット生成によるデータ拡張は、知識グラフ補完における少数ショット一般化を向上させるか？
• RQ4 メタラーニングと記述ベースモデリングの統合は、希少関係およびエンティティにおける性能にどのように影響するか？
• RQ5 過学習を避けるために、性能向上に最適な生成トリプレット数は何か？

主な発見

• 提案フレームワークは、1ショットおよび4ショットKGC設定において、WDtextおよびDBPtextの両データセットですべてのベースラインを上回る性能を達成。
• DBPtextでは、128個の生成トリプレットを用いた場合にMRRが0.330に達し、ベースラインを顕著に上回る。
• 1ショット設定では、WDtextでMRR 0.247、DBPtextでMRR 0.304を達成（64個の生成トリプレット使用）。
• アブレーションスタディにより、特徴抽出モジュールとトリプレット生成の両方が不可欠であることが確認され、いずれかを削除すると性能が著しく低下する。
• 最適なトリプレット生成数はデータセットによって異なる：WDtextでは8、DBPtextでは128。これは、記述の長さと複雑さが生成戦略に影響することを示唆。
• 長い、より複雑な記述（DBPtext）に対しては、短い記述（WDtext）よりも優れた性能を発揮しており、テキストの複雑さに対して頑健であることが示唆される。