[論文レビュー] Message Passing for Query Answering over Knowledge Graphs

Daniel Daza, Michael Cochez|arXiv (Cornell University)|Feb 6, 2020

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本論文では、エンティティと変数をノードとするグラフとしてクエリを符号化するメッセージパッシング型グラフニューラルネットワークを提案する。これにより、多様なクエリタイプにわたる一般化が可能となり、リンク予測のみで訓練された場合でも、複雑なクエリに対して競争力ある性能を達成する。さらに、明示的な教師信号なしにエンティティタイプの表現を学習する。

ABSTRACT

Recent works on representation learning for Knowledge Graphs have moved beyond the problem of link prediction, to answering queries of an arbitrary structure. Existing methods are based on ad-hoc mechanisms that require training with a diverse set of query structures. We propose a more general architecture that employs a graph neural network to encode a graph representation of the query, where nodes correspond to entities and variables. The generality of our method allows it to encode a more diverse set of query types in comparison to previous work. Our method shows competitive performance against previous models for complex queries, and in contrast with these models, it can answer complex queries when trained for link prediction only. We show that the model learns entity embeddings that capture the notion of entity type without explicit supervision.

研究の動機と目的

• 既存のクエリ応答モデルが、各クエリ構造に対してタスク特化された学習を必要としているという制限を解決すること。
• 単一の学習目的で多様なクエリタイプに一般化できる統一アーキテクチャを開発すること。
• クエリ固有のファインチューニングを必要とせず、リンク予測の教師信号のみで複雑なクエリ応答を可能にすること。
• 明示的なタイプアノテーションなしに、メッセージパッシングを通じてエンティティタイプの表現を暗黙的に学習すること。

提案手法

• ノードがエンティティおよび変数を表し、エッジが関係または制約を表すクエリグラフをモデルが構築する。
• 情報がクエリグラフ全体にわたって伝搬されるよう、メッセージパッシング機構を備えたグラフニューラルネットワーク（GNN）を適用する。
• メッセージは、学習可能なニューラルネットワークを用いて集約・更新され、ノード表現を反復的に精緻化する。
• 最終的なノード表現を用いて、候補となるエンティティをクエリ構造と照合してスコア付けすることで、答えのエンティティを予測する。
• エンドツーエンドでリンク予測損失を用いて学習し、これによりクエリ推論が暗黙的にガイドされる。
• GNNの伝搬により、クエリ構造のトポロジーを動的に符号化することで、任意のクエリ構造をサポートする。

実験結果

リサーチクエスチョン

• RQ1 同じGNNベースのモデルが、各構造ごとに再訓練なしに多様なクエリタイプに一般化できるか？
• RQ2 リンク予測のみで学習させることで、複雑なクエリに対する有効な推論が可能になるか？
• RQ3 メッセージパッシングを通じて学習されたエンティティ埋め込みが、明示的な教師信号なしにエンティティタイプの意味を捉えられるか？
• RQ4 複雑なクエリにおいて、専用のクエリ応答モデルと比較して、本モデルの性能はどの程度か？

主な発見

• 本モデルは、以前の最先端モデルと比較して、複雑なクエリにおいて競争力ある性能を達成した。
• ファインチューニングなしに未観測のクエリタイプにも一般化可能であり、GNNアーキテクチャが示す強いインダクティブバイアスを示している。
• エンティティタイプの表現が、メッセージパッシングを通じて暗黙的に学習されており、埋め込み空間における意味的クラスタリングの結果から裏付けられた。
• 訓練がリンク予測に限定されても性能が維持されることから、ロバストネスと一般化能力が確認された。