[論文レビュー] Message Passing Query Embedding

Daniel Daza, Michael Cochez|arXiv (Cornell University)|Feb 6, 2020

Advanced Graph Neural Networks参考文献 22被引用数 5

ひとこと要約

本稿では、エンティティと変数をノードとして持つ小さなグラフとしてクエリを扱うことで、複雑な知識グラフクエリを統一された埋め込みとして符号化するグラフニューラルネットワークベースの手法、Message Passing Query Embedding (MPQE) を提案する。MPQE は、リンク予測の学習のみで訓練された場合でも、複雑なクエリに一般化し、明示的な監視なしにタイプ構造を持つエンティティ表現を学習する。性能は競争力があり、特にタイプ構造に注意を払ったエンティティ表現を無教師で学習する点で優れている。

ABSTRACT

Recent works on representation learning for Knowledge Graphs have moved beyond the problem of link prediction, to answering queries of an arbitrary structure. Existing methods are based on ad-hoc mechanisms that require training with a diverse set of query structures. We propose a more general architecture that employs a graph neural network to encode a graph representation of the query, where nodes correspond to entities and variables. The generality of our method allows it to encode a more diverse set of query types in comparison to previous work. Our method shows competitive performance against previous models for complex queries, and in contrast with these models, it can answer complex queries when trained for link prediction only. We show that the model learns entity embeddings that capture the notion of entity type without explicit supervision.

研究の動機と目的

• 既存のクエリ埋め込み手法が、訓練時に多様なクエリ構造を必要とし、計算複雑度が高いために制限を受けるという点を解決すること。
• クエリグラフ上で一様なメッセージパッシング機構を用いることで、任意のクエリ構造を扱える汎用的なクエリ埋め込みフレームワークを構築すること。
• 単一ホップのリンク予測のみで学習した場合に、複雑なクエリに一般化できるかどうかを検証し、訓練時に複雑なクエリ構造を明示的にモデル化する必要があるという仮定に挑戦すること。
• 学習されたエンティティ埋め込みが、意味的タイプ情報を無教師で捉えられるかどうかを評価し、解釈可能性と転移性を向上させること。
• MPQE がクエリ回答を超えて、知識グラフにおける無教師表現学習の基盤としての可能性を検討すること。

提案手法

• 各クエリをエンティティまたは変数をノードとし、関係をエッジとする小さなグラフ（クエリグラフ）として表現する。
• 初期ノード特徴量として、事前学習済みエンティティ埋め込みまたは変数用の学習可能なタイプ埋め込みを割り当てる。
• グラフニューラルネットワーク（GNN）を用いてクエリグラフ全体でメッセージパッシングを実行し、隣接ノードからの情報を集約する。
• 合計、最大値、またはフィードフォワードネットワークなどの集約関数を用いて、すべてのメッセージを1つのクエリ埋め込みベクトルに統合する。
• 主にリンク予測を目的関数として、エンドツーエンドでモデルを訓練することで、クエリ構造の明示的監視なしに複雑なクエリへの一般化を実現する。
• 候補となる答えのランク付けに、クエリ埋め込みとエンティティ埋め込みの間のコサイン類似度を用いる。

実験結果

リサーチクエスチョン

• RQ1 単一ホップのリンク予測のみで学習したクエリ埋め込みモデルは、鎖状や交差構造を持つ複雑なクエリに対しても効果的に一般化できるか？
• RQ2 クエリグラフ上でメッセージパッシングを適用することで、一時的または部分グラフベースの手法と比較して、より強固で一般化可能なクエリ表現が得られるか？
• RQ3 明示的なタイプ監視なしに、モデルは構造的でタイプに敏感なエンティティ埋め込みを無教師で学習できるか？
• RQ4 GQE-Bilinear や GQE-Attention などの先行最先端のクエリ埋め込みモデルと比較して、MPQE は多様なクエリタイプにおいて性能と一般化能力に優れているか？
• RQ5 GNN とメッセージパッシングに基づく MPQE のアーキテクチャ設計は、単純なクエリから複雑なクエリへの転移学習をどの程度向上させるか？

主な発見

• MPQE は複雑なクエリ回答において競争力のある性能を示し、Bio データセットでは MPQE-CMLP を用いて AUC 90.1 を達成。GQE-Bilinear（90.8）と MPQE-TM（88.8）を上回った。
• リンク予測のみで学習した場合でも、MPQE は交差や鎖構造を含む複雑なクエリに一般化でき、AM データセット（全クエリ）で AUC 83.9 を達成。一方、GQE モデルは失敗し、ランダムよりも成績が悪かった。
• MPQE は、明示的な監視なしにタイプごとにエンティティがクラスタリングされる構造的埋め込み空間を学習しており、T-SNE を用いた可視化でその様子が確認された。これは、無教師でのタイプ表現学習が可能であることを示している。
• MPQE-CMLP のバリエーションが、Bio データセットで最高の AUC（90.1）と APR（90.2）を達成し、学習可能な集約機構の有効性を示した。
• MPQE-TM は AIFB（ch）で 84.9% の AUC、全クエリで 75.5% の AUC を達成し、データセットやクエリタイプにかかわらず一貫した性能を示した。
• 定性的な分析により、MPQE は GQE よりもより一貫性があり、タイプ構造を持つエンティティ埋め込みを生成していることが確認された。GQE はタイプごとの明確なクラスタリングを示さなかった。