[論文レビュー] Cycle Representation Learning for Inductive Relation Prediction

Zuoyu Yan, Tengfei Ma+3 more|arXiv (Cornell University)|Oct 6, 2021

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本論文は、代数的トポロジーにおけるサイクル空間の線形代数的構造を活用することで、知識グラフにおける帰納的関係予測をサイクル表現学習として扱う、新しいGNNフレームワークであるサイクルベースGNN（CBGNN）を提案する。すべての可能なパスを探索するのではなく、サイクルベース上で表現を学習することで、従来のGNNベース手法に比べて著しく効率的でありながら、最先端の性能を達成する。

ABSTRACT

In recent years, algebraic topology and its modern development, the theory of persistent homology, has shown great potential in graph representation learning. In this paper, based on the mathematics of algebraic topology, we propose a novel solution for inductive relation prediction, an important learning task for knowledge graph completion. To predict the relation between two entities, one can use the existence of rules, namely a sequence of relations. Previous works view rules as paths and primarily focus on the searching of paths between entities. The space of rules is huge, and one has to sacrifice either efficiency or accuracy. In this paper, we consider rules as cycles and show that the space of cycles has a unique structure based on the mathematics of algebraic topology. By exploring the linear structure of the cycle space, we can improve the searching efficiency of rules. We propose to collect cycle bases that span the space of cycles. We build a novel GNN framework on the collected cycles to learn the representations of cycles, and to predict the existence/non-existence of a relation. Our method achieves state-of-the-art performance on benchmarks.

研究の動機と目的

• 指数的に大きなパス空間を探索する従来の帰納的関係予測手法の非効率性とスケーラビリティの問題に対処すること。
• 代数的トポロジーにおけるサイクル空間の内在的な線形構造を活用して、論理的ルールの探索空間を削減すること。
• 個々のパスではなくサイクルベース上の表現を学習するGNNベースのフレームワークを開発し、効率的かつ正確な関係予測を可能にすること。
• サイクルベースのルール学習が、パスベースやヒューリスティックなルール抽出に比べて、知識グラフ補完タスクで優れていることを実証すること。

提案手法

• 論理的ルールを知識グラフ内のサイクルとしてモデル化し、各ルールをターゲット関係を含む閉ループとして扱う。
• グラフのサイクル空間をカバーするように、戦略的に選ばれた中心ノードから最短経路木（SPT）を用いてサイクルベースを構築する。
• ノードが基本サイクルを表し、エッジがサイクル間の相互作用を符号化するサイクルグラフ上に、新規のGNNを構築する。
• 双方向RNN（BR-LSTM）を介してサイクル間でメッセージを伝達し、関係に依存するサイクル表現を学習する。
• すべての可能なサイクルを線形結合として表現可能にするために、mod-2加算を用いて基本サイクルを組み合わせる。
• 最終的な予測は、サイクル表現の上での学習可能なアテンションメカニズムにより、サイクル信頼度スコアを集約することで行われる。

実験結果

リサーチクエスチョン

• RQ1 代数的トポロジーにおけるサイクル空間の線形代数的構造を活用することで、知識グラフにおける論理的ルールの探索空間を削減できるか？
• RQ2 サイクルベースの表現学習が、精度と効率の両面でパスベースのルール抽出を上回るか？
• RQ3 サイクルベース生成戦略の選択（例：SPT対ランダム）が、帰納的関係予測の性能に与える影響はいかほどか？
• RQ4 ノードレベルのGNNと比較して、サイクル表現上で動作するGNNが、一般化性能とインダクティブバイアスの向上にどの程度寄与するか？
• RQ5 サイクルベースの学習は、ゼロショットまたはフェイントショットの関係予測シナリオに自然に拡張可能か？

主な発見

• CBGNNは、複数の帰納的関係予測ベンチマークで最先端の性能を達成し、従来のGNNベースおよびルールベース手法を上回る。
• アブレーションスタディにより、GNNによるサイクル表現の学習が不可欠であることが確認された—GNNをスキップして事前に定義されたSPTサイクルを直接分類するCBGNN-MLPは、完全なモデルに比べて性能が劣る。
• 複数のSPTベースのサイクルベース（k=20）を用いることで、単一ベースやランダムベースの手法に比べて顕著に性能向上が見られ、カバレッジと多様性の重要性が示された。
• BR-LSTMを用いたサイクル特徴生成は、ほとんどのデータセットでBOWおよび標準LSTMベースラインを上回り、双方向関係シーケンスのモデリングの利点が裏付けられた。
• 本手法は、各トリプルごとに部分グラフを抽出するのではなく、すべてのトリプルに対して1つの統合GNNを構築するため、従来のGNNベース手法に比べて著しく高速である。
• FB15k-237では、BOW特徴が驚くほどBR-LSTMを上回ったが、これはこのデータセットの関係タイプの多様性が高く、特徴設計のドメイン依存性を示していると考えられる。