[論文レビュー] Few-shot Relational Reasoning via Connection Subgraph Pretraining

Qian Huang, Hong‐Yu Ren+1 more|arXiv (Cornell University)|Oct 13, 2022

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本稿では、サポート例とクエリトリプル間の共有接続サブグラフをモデル化することで、自動的に抽出されたサブグラフ上で自己教師あり事前学習を実施し、知識グラフにおける未知の関係を直接予測する、少サンプル関係的推論フレームワーク「Connection Subgraph Reasoner (CSR)」を提案する。CSRは、メタラーニングや手作業で整えたトレーニングタスクを必要とせず、挑戦的なインダクティブ少サンプルタスクにおいて最大52%の相対的改善を達成し、最先端の性能を実現した。

ABSTRACT

Few-shot knowledge graph (KG) completion task aims to perform inductive reasoning over the KG: given only a few support triplets of a new relation $\bowtie$ (e.g., (chop,$\bowtie$,kitchen), (read,$\bowtie$,library), the goal is to predict the query triplets of the same unseen relation $\bowtie$, e.g., (sleep,$\bowtie$,?). Current approaches cast the problem in a meta-learning framework, where the model needs to be first jointly trained over many training few-shot tasks, each being defined by its own relation, so that learning/prediction on the target few-shot task can be effective. However, in real-world KGs, curating many training tasks is a challenging ad hoc process. Here we propose Connection Subgraph Reasoner (CSR), which can make predictions for the target few-shot task directly without the need for pre-training on the human curated set of training tasks. The key to CSR is that we explicitly model a shared connection subgraph between support and query triplets, as inspired by the principle of eliminative induction. To adapt to specific KG, we design a corresponding self-supervised pretraining scheme with the objective of reconstructing automatically sampled connection subgraphs. Our pretrained model can then be directly applied to target few-shot tasks on without the need for training few-shot tasks. Extensive experiments on real KGs, including NELL, FB15K-237, and ConceptNet, demonstrate the effectiveness of our framework: we show that even a learning-free implementation of CSR can already perform competitively to existing methods on target few-shot tasks; with pretraining, CSR can achieve significant gains of up to 52% on the more challenging inductive few-shot tasks where the entities are also unseen during (pre)training.

研究の動機と目的

• 新しい関係がわずか数個のサポート例でのみ与えられる少サンプル知識グラフ補完の課題に対処すること。
• 手作業で整えたメタトレーニングタスクを必要とするメタラーニングベースの手法の限界を克服すること。これらのタスクは構築が困難であり、しばしば分布シフトを引き起こす。
• タスク固有の例で事前メタトレーニングを行わず、新しい少サンプルタスクに対して直接的にインダクティブ推論を実行する手法を開発すること。
• 共有接続サブグラフによる論理的パターンのモデル化を通じて、未知の関係やエンティティへの頑健な一般化を実現すること。

提案手法

• 少サンプルリンク予測を、サポートトリプルとクエリトリプル間の共有接続サブグラフが未知の関係の仮説として機能する、消去的誘導問題として定式化する。
• 二段階フレームワークを設計する：仮説提案（Hypothesis Proposal）はサポートトリプル間の共通サブグラフを特定し、証拠提案（Evidence Proposal）はそれらがクエリグラフに存在することを検証する。
• GNNベースのアーキテクチャを用いて接続サブグラフを符号化し、微分可能なアテンション機構を用いて証拠スコアを計算する。
• 背景知識グラフから自動的に抽出された接続サブグラフを再構築する自己教師あり事前学習目的を導入する。
• 事前学習済みエンティティ埋め込みを活用してサブグラフ表現学習を向上させ、下流タスク向けにオプションで微調整を実施する。
• 動的に関連するサブグラフ構造を特定するための微分可能なマスク機構を導入し、全グラフ仮定を回避する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングや手作業で整えたメタトレーニングタスクに依存せずに、知識グラフ推論モデルが少サンプルリンク予測を実行できるか？
• RQ2 共有接続サブグラフが、知識グラフにおける未知の関係を推論する有効な仮説として機能できるか？
• RQ3 学習フリーなCSR実装の性能は、既存のメタラーニングベースラインと比較してどうなるか？
• RQ4 テスト時の関係やエンティティがトレーニング分布とは異なる場合、CSRはどの程度分布シフトに頑健に耐えられるか？
• RQ5 接続サブグラフ再構築の自己教師あり事前学習が、インダクティブ少サンプル推論性能を向上させられるか？

主な発見

• 学習フリーなCSR実装は、NELLでMRR 0.577を達成し、事前学習済み埋め込みを用いてもMetaR (0.471) を上回る競争力のある性能を示した。
• 自己教師あり事前学習を適用した場合、エンティティがトレーニング時に未確認であったインダクティブ少サンプルタスクで最大52%の相対的改善を達成した。
• アブレーションスタディにより、すべての構成要素（エンティティ埋め込み、仮説提案、証拠提案）が不可欠であることが確認され、すべてを削除するとMRRが0.420に低下した。
• CSRは分布シフトに対して強い頑健性を示した：分布外の関係を含む新しいテストセットでもMRRが0.590を維持した一方、FSRLは0.578から0.459に低下した。
• 真値サブグラフが与えられた合成データセットでは、CSR-OPTが4クライーク構造下で仮説回復と証拠回復の両方でIOU 0.843および0.992を達成した。
• 真値仮説の直接的監視がある場合、CSR-GNNは仮説と証拠回復の両方でIOU 0.809および0.981を達成し、正確なサブグラフ検出のためのモデル容量を確認した。