[論文レビュー] Labeling Trick: A Theory of Using Graph Neural Networks for Multi-Node Representation Learning

Muhan Zhang, Pan Li+3 more|arXiv (Cornell University)|Oct 30, 2020

Advanced Graph Neural Networks参考文献 45被引用数 59

ひとこと要約

本論文は、ノード集合の表現力豊かな結合表現を学習できるようGNNにラベリングトリックを導入し、理論上の保証（定理1および関連結果）を証明し、ラベリングによりSEALの有効性が生じることを示す。従来のノードラベリング手法を統合し、局所同型性とOGBLデータセットでの実験を通じて実用性を分析する。

ABSTRACT

In this paper, we provide a theory of using graph neural networks (GNNs) for multi-node representation learning (where we are interested in learning a representation for a set of more than one node, such as link). We know that GNN is designed to learn single-node representations. When we want to learn a node set representation involving multiple nodes, a common practice in previous works is to directly aggregate the single-node representations obtained by a GNN into a joint node set representation. In this paper, we show a fundamental constraint of such an approach, namely the inability to capture the dependence between nodes in the node set, and argue that directly aggregating individual node representations does not lead to an effective joint representation for multiple nodes. Then, we notice that a few previous successful works for multi-node representation learning, including SEAL, Distance Encoding, and ID-GNN, all used node labeling. These methods first label nodes in the graph according to their relationships with the target node set before applying a GNN. Then, the node representations obtained in the labeled graph are aggregated into a node set representation. By investigating their inner mechanisms, we unify these node labeling techniques into a single and most general form -- labeling trick. We prove that with labeling trick a sufficiently expressive GNN learns the most expressive node set representations, thus in principle solves any joint learning tasks over node sets. Experiments on one important two-node representation learning task, link prediction, verified our theory. Our work explains the superior performance of previous node-labeling-based methods, and establishes a theoretical foundation of using GNNs for multi-node representation learning.

研究の動機と目的

• マルチノード予測タスクのために単一ノードのGNN埋め込みを直接集約する際の根本的な限界を特定する。
• GNNを用いてノード集合表現を学習するための統一理論（ラベリングトリック）を構築する。
• ラベリングトリックが最も表現力豊かな構造表現を生み出す条件を確立する（定理1）。
• 既存のラベリング方式（SEAL、DE、DRNL）との関係を分析し、局所同型性などの実践的設定へ理論を拡張する。
• 理論を裏付けるため、リンク予測タスクで実証的検証を提供する。

提案手法

• ラベリングトリックを、ラベリングテンソルをグラフと積み重ねてラベル付きグラフを形成するように定義し、ターゲットノードを識別可能にし、置換等変性を保証する。
• ターゲットノード集合を識別するための、単純で妥当なラベリングトリックとしてゼロ・イチラベリングを導入する。
• 定理1を証明する：ノード最も表現力のあるGNNと単射集合集約を用いれば、ラベル付きグラフ上のGNNはノード集合の構造表現を生成する。
• 定理2を証明する：非属性グラフにおいて、ラベリングトリックを用いた1-WL GNNは、通常の1-WLでは識別できない多くの非同型リンクを識別できる。
• SEALが包絡サブグラフのDRNLラベリングを介してラベリングトリックを用いることを実証し、理論（定理3）と関連付ける。
• Distance Encoding (DE)、異種グラフ、局所同型性などの実践的改良としての拡張を論じる。）

実験結果

リサーチクエスチョン

• RQ1 単一ノードのGNN埋め込みを直接集約して、ノード集合の構造表現を生み出すことができるか。
• RQ2 ラベリングトリックはノードごとのGNNに対してノード集合の最も表現力豊かな結合表現を学習させることができるか。
• RQ3 SEALや他のラベリングベース手法はラベリングトリックの枠組みにどのように適合するか。
• RQ4 局所同型性と厳密同型性のどちらがノード集合表現の学習に影響を与えるか。
• RQ5 リンク予測タスクや異種グラフでのラベリングトリックの実践的性能はどうか。

主な発見

• 高い表現力を持つノード埋め込みでも、GAEでノード表現を直接集約しても構造的リンク表現を学べない。
• ラベリングトリックはノード最も表現力のあるGNNがラベル付きグラフと単射集合集約を介してノード集合の構造表現を学ぶことを可能にする（定理1）。
• 非属性グラフでは、1-WL GNNだけでは識別できない多くのリンク対が、ラベリングトリックにより識別可能である（定理2）。
• SEALがDRNLラベリングを用いることはラベリングトリックの例であり、GAEに対する経験的優位性を説明する（定理3）。
• この枠組みはDE、異種グラフ、局所同型性などの実践的概念へ一般化され、GNNを用いたマルチノード学習の広範な理論的基盤を提供する。