[論文レビュー] Transfer Learning of Graph Neural Networks with Ego-graph Information Maximization

Qi Zhu, Carl Yang+4 more|arXiv (Cornell University)|Sep 10, 2020

Advanced Graph Neural Networks被引用数 37

ひとこと要約

この論文は、k-hop ego-graph 構造をモデリング・マッチさせて GNN をグラフ間で転送する方法として Ego-Graph Information Maximization (Egi) を提案し、局所グラフラプラシアンに基づく理論的な転送保証を提供するとともに、合成データと実データセットで実証的検証を行う。

ABSTRACT

Graph neural networks (GNNs) have achieved superior performance in various applications, but training dedicated GNNs can be costly for large-scale graphs. Some recent work started to study the pre-training of GNNs. However, none of them provide theoretical insights into the design of their frameworks, or clear requirements and guarantees towards their transferability. In this work, we establish a theoretically grounded and practically useful framework for the transfer learning of GNNs. Firstly, we propose a novel view towards the essential graph information and advocate the capturing of it as the goal of transferable GNN training, which motivates the design of EGI (Ego-Graph Information maximization) to analytically achieve this goal. Secondly, when node features are structure-relevant, we conduct an analysis of EGI transferability regarding the difference between the local graph Laplacians of the source and target graphs. We conduct controlled synthetic experiments to directly justify our theoretical conclusions. Comprehensive experiments on two real-world network datasets show consistent results in the analyzed setting of direct-transfering, while those on large-scale knowledge graphs show promising results in the more practical setting of transfering with fine-tuning.

研究の動機と目的

• 異なるグラフ間で GNN を転送するための理論的根拠のある枠組みを提案する（直接転送）。
• ego-graph 構造とノード埋め込み間の相互情報を最大化して、グラフの本質的情報を捉える Egi を導入する。
• 局所グラフラプラシアンを用いた構造を尊重するノード特徴の下で転送性を分析する。
• 合成実験と実データセットで理論を検証し、 baselines より転送性能を改善することを示す。

提案手法

• グラフを k-hop ego-graph とノード特徴の結合分布のサンプルとして表現し、グラフ情報と類似性を定義する。
• Ego-Graph Information Maximization (Egi) を、BFS順のエッジ上の識別器を用いて ego- graph と GNN 出力間の相互情報を最大化する形で定義する。
• 中心ノードエンコーダ Psi と隣接ノードエンコーダ Phi の二つの GNN エンコーダを使用し、真の ego-graph-エッジ対と負例を区別する結合スコアリング関数を用いる。
• Egi のデュアル解釈を、ego-graph 再構成損失の上界として提供し、VGAE や他の MI ベースの GNN 手法に接続するが、ノード特徴より構造を強調する。
• 転送性分析 (定理 3.1) を提供し、性能ギャップが ego-graph ラプラシアン差項 Δ_D(G_a,G_b) によって上界されることを示す。
• 実用的な使用例を説明する：ターゲットラベルなしの直接転送と、微調整を伴う転送学習。

実験結果

リサーチクエスチョン

• RQ1 ソースグラフ G_a で訓練された GNN がファインチューニングなしでターゲットグラフ G_b に効果的に転送できる条件は何か？
• RQ2 局所 ego-graph ラプラシアンで定量化されるグラフ間の構造的差異は、Egi 目的関数を用いた GNN の転送性にどのように影響するか？
• RQ3 構造を尊重するノード特徴は転送性にとって必須かどうか、そしてそれらは Egi のグラフ間性能にどのように影響するか？
• RQ4 Egi は直接転送と少数ショット転送シナリオで既存の自己教師付き・事前学習 GNN 手法とどのように比較されるか？
• RQ5 Δ_D(G_a,G_b) の指標に基づいて転送の事前評価またはソースグラフの選択は可能か？

主な発見

• Egi は、構造に関連する転送可能な特徴（例：ノード次数のワンホット）を用いたとき、類似・非類似グラフ間で直接転送の役割識別においてベースラインを上回る。
• 転送不可能な特徴を用いると転送性が大きく損なわれる、構造を尊重するノード特徴の必要性を浮き彫りにする。
• Egi の転送性は局所 ego-graph ラプラシアンから計算される構造差 Δ_D(G_a,G_b) と相関し、定理 3.1 の理論的界を検証する。
• Airport データセットで、Egi はヨーロッパ、アメリカ、ブラジルネットワークで最高または競合的な性能を発揮し、しばしばベースラインを統計的に有意に上回る。
• Gene データセットでは、Δ_D の値が小さいほど転送利得と正の関係を示す負から正の転送パターンを示し、構造的類似性と転送利得の関係を支持する。
• 合成実験では、Δ_D(F,F) は Δ_D(B,F) より小さく、ソースとターゲットグラフがより類似しているときに転送利得が大きくなることを Egi が追随する。