[論文レビュー] Graph Few-shot Learning via Knowledge Transfer

Huaxiu Yao, Chuxu Zhang+6 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Graph Neural Networks参考文献 35被引用数 5

ひとこと要約

本稿では、補助グラフから構造的知識を転移することで、低ショットのターゲットグラフにおける半教師ありノード分類を向上させる、新しいフレームワークであるグラフ少数-shot学習（GFL）を提案する。共通のノードおよびプロトタイプ埋め込み関数を通じて転送可能なメトリクス空間を学習することにより、GFLは関係構造とグラフレベルの表現を活用し、4つの実世界データセットで最先端の結果を達成し、少数ショット設定において顕著な向上を示す。

ABSTRACT

Towards the challenging problem of semi-supervised node classification, there have been extensive studies. As a frontier, Graph Neural Networks (GNNs) have aroused great interest recently, which update the representation of each node by aggregating information of its neighbors. However, most GNNs have shallow layers with a limited receptive field and may not achieve satisfactory performance especially when the number of labeled nodes is quite small. To address this challenge, we innovatively propose a graph few-shot learning (GFL) algorithm that incorporates prior knowledge learned from auxiliary graphs to improve classification accuracy on the target graph. Specifically, a transferable metric space characterized by a node embedding and a graph-specific prototype embedding function is shared between auxiliary graphs and the target, facilitating the transfer of structural knowledge. Extensive experiments and ablation studies on four real-world graph datasets demonstrate the effectiveness of our proposed model.

研究の動機と目的

• ラベル付きノードが極めて少ない状況における半教師ありノード分類の課題に対処すること。
• トポロジーとクラス依存特徴における構造的類似性を活用することで、グラフ間での知識転送を可能にすること。
• ノードレベルおよびグラフレベルの表現を両方転送するメトリクスベースの少数-shot学習フレームワークを開発すること。
• クラス内における関係構造をモデル化することで、低データ環境における一般化性能とロバスト性を向上させること。
• 転送可能なメトリクス空間がグラフ表現学習において有効であることを実証的に検証すること。

提案手法

• GFLは、ターゲットグラフからのノード表現を学習するためにGNNを用いたグラフオートエンコーダを採用する。
• 同じクラスに属するノード間の関係的構造を構築し、その構造からプロトタイプGNNを用いてクラスプロトタイプを学習する。
• 補助グラフとターゲットグラフの両方でノードおよびプロトタイプ埋め込み関数を共有することで、構造的知識を転送する。
• グローバル構造的類似性に基づいて、階層的グラフ表現ゲートを用いて異なるグラフ間のメトリクス空間をアライメントする。
• ノード分類は、埋め込み空間においてノードを最も近いプロトタイプにマッチングすることで実行される、転送可能なメトリクス空間をフレームワークが使用する。
• 内積やコサイン距離といった距離関数を評価し、メトリクス学習プロセスにおけるロバスト性を検証する。

実験結果

リサーチクエスチョン

• RQ1 補助グラフからの知識転送は、少数ショット設定におけるノード分類性能を向上させることができるか？
• RQ2 ノードレベルおよびグラフレベルの構造的知識の両方の転送は、少数-shotグラフ学習においてどの程度効果的か？
• RQ3 異なる類似度関数は、プロトタイプの関係的構造構築にどのような影響を与えるか？
• RQ4 関係的構造形成におけるしきい値μは、ハイパーパrameterとしての感度にどの程度影響を与えるか？
• RQ5 距離関数の選択は、メトリクス空間における最終的な分類精度に影響を与えるか？

主な発見

• GFLは4つの実世界グラフデータセットで最先端の性能を達成し、Citationデータセットにおける5-way 1-shot設定で最高96.51%の精度を記録した。
• すべてのショット設定においてProtonetおよびMAMLを上回り、サポートセットサイズが小さい場合でもロバストであることが示された。
• Top-k 共通の隣接ノードを類似度関数として使用した場合、Citationデータセットで最高の精度（96.51%）を達成し、ジャッカード、アダミック・アダール、ページランクを上回った。
• 関係的構造形成におけるしきい値μは顕著な影響を持つことが判明し、最適値はデータセットごとに異なるため、データ分布に敏感であることが示された。
• 距離関数の選択に対してモデルはそれほど感度が高くなく、内積とコサイン距離の結果は類似しており（例：Collaborationデータセットでは83.79% vs. 84.02%）、同等の性能を示した。
• t-SNE可視化により、GFLがより判別力のある表現を学習していることが確認され、Protonetと比較して陽性サンプルと陰性サンプルが明確に分離されていた。