[論文レビュー] ReFactor GNNs: Revisiting Factorisation-based Models from a Message-Passing Perspective

Yihong Chen, Pushkar Mishra+4 more|arXiv (Cornell University)|Jul 20, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、勾配降下法の更新をメッセージパッシング操作として解釈することで、DistMultのような要因分解ベースのモデル（FMs）をメッセージパッシングGNNとして再定式化する、ReFactor GNNsという新しいGNNアーキテクチャを提案する。これにより、FMsに比べて10分の1のパラメータ数で知識グラフ補完ベンチマークで最先端の誘導性能を達成するとともに、FMsと同等の伝達的性能を達成する。

ABSTRACT

Factorisation-based Models (FMs), such as DistMult, have enjoyed enduring success for Knowledge Graph Completion (KGC) tasks, often outperforming Graph Neural Networks (GNNs). However, unlike GNNs, FMs struggle to incorporate node features and generalise to unseen nodes in inductive settings. Our work bridges the gap between FMs and GNNs by proposing ReFactor GNNs. This new architecture draws upon both modelling paradigms, which previously were largely thought of as disjoint. Concretely, using a message-passing formalism, we show how FMs can be cast as GNNs by reformulating the gradient descent procedure as message-passing operations, which forms the basis of our ReFactor GNNs. Across a multitude of well-established KGC benchmarks, our ReFactor GNNs achieve comparable transductive performance to FMs, and state-of-the-art inductive performance while using an order of magnitude fewer parameters.

研究の動機と目的

• 要因分解ベースのモデル（FMs）とグラフニューラルネットワーク（GNNs）の間のギャップを埋めること。これらは従来、分離されたパラダイムと見なされてきた。
• FMsが誘導的制限があるにもかかわらず、標準的なGNNsよりも伝達的知識グラフ補完で優れている理由を説明すること。
• GNNsの誘導的バイアスとFMsの予測力の両方を備えた新しいGNNアーキテクチャを開発すること。
• FMsの学習ダイナミクスを有限層のメッセージパッシングに再定式化することで、未観測ノードへの一般化を可能にすること。
• 勾配降下法の再解釈を通じて、FMs、GNNs、メッセージパッシングを統一する理論的枠組みを提供すること。

提案手法

• FMsのノード埋め込みの勾配降下最適化を、ノード間のメッセージパッシング操作の系列として再定式化する。
• FMsを、無限の受容 field を持つGNNsの特殊ケースとみなす。これは、層ごとの学習とグローバル正規化を特徴とする。
• ノード特徴量の組み込みと動的グラフ再接続を組み込んだ、有限層で誘導的なFMsの変種としてReFactor GNNsを提案する。
• 動的再接続されたグラフ上で拡張されたメッセージパッシングメカニズムを用い、FMs学習のグローバルかつ反復的な性質を模倣する。
• 標準的なGNN学習手順を用いてモデルを訓練する。メッセージパッシング層はFMsの更新ルールを模倣する。
• 効率的な学習のためのサブグラフサンプリング（例：LADIES）を適用するが、本手法はサンプリング戦略に依存しない。

実験結果

リサーチクエスチョン

• RQ1 要因分解ベースのモデル（例：DistMult）を、メッセージパッシングGNNの一種として形式的に再解釈できるか？
• RQ2 FMsが誘導的制限があるにもかかわらず、伝達的知識グラフ補完で標準的なGNNsを上回る理由は何か？
• RQ3 GNNsの誘導的一般化とFMsの予測精度を両立させるGNNアーキテクチャを設計できるか？
• RQ4 FMsにおける勾配降下とGNNsにおけるメッセージパッシングとの間の理論的関係は何か？
• RQ5 FMsのメッセージパッシング再解釈が、誘導学習と特徴量の組み込みを可能にするか？

主な発見

• ReFactor GNNsは、15のwell-establishedなKGCベンチマークで、誘導設定において標準GNNsおよびFMsを上回る最先端の誘導性能を達成した。
• 伝達的ベンチマークでは、ReFactor GNNsはDistMultのようなFMsと同等の性能を示し、高い予測精度を確認した。
• FMsと同等の性能を達成したにもかかわらず、ReFactor GNNsはFMsに比べて10分の1のパラメータ数を用いたため、パrameter効率が著しく向上した。
• 再定式化により、FMsが無限層とグローバル正規化を持つGNNsの特殊ケースとして解釈でき、その強力な性能の理由が説明された。
• モデルはノード特徴量を効果的に組み込み、従来のFMsが未観測ノードへの一般化ができないという主な制限を克服した。
• 実験的結果により、FMsが適用できない状況でも、ReFactor GNNsが標準GNNsよりも一般化性能が優れていることが確認された。