[論文レビュー] Label-GCN: An Effective Method for Adding Label Propagation to Graph Convolutional Networks

Claudio Bellei, Hussain Alattas+1 more|arXiv (Cornell University)|Apr 5, 2021

Advanced Graph Neural Networks参考文献 40被引用数 7

ひとこと要約

Label-GCN は、訓練中に最初の層のラベル特徴量における自己ループを選択的に削除することで、グラフ畳み込みネットワーク（GCNs）にシンプルかつ効果的な修正を加える。これにより、ハイパーパrameterを追加せずにラベル伝搬が可能となり、誘導的および帰納的設定の両方で顕著な性能向上が達成される。特に推論時に隣接ノードのラベルが利用可能な場合、構造的破壊が生じた後でも Elliptic データセットで最大36.4%のF1スコア向上が見られた。

ABSTRACT

We show that a modification of the first layer of a Graph Convolutional Network (GCN) can be used to effectively propagate label information across neighbor nodes, for binary and multi-class classification problems. This is done by selectively eliminating self-loops for the label features during the training phase of a GCN. The GCN architecture is otherwise unchanged, without any extra hyper-parameters, and can be used in both a transductive and inductive setting. We show through several experiments that, depending on how many labels are available during the inference phase, this strategy can lead to a substantial improvement in the model performance compared to a standard GCN approach, including with imbalanced datasets.

研究の動機と目的

• 標準のGCNが、隣接ノードが同じラベルを共有する可能性が高い場合でも、訓練中にラベル情報を活用しないという制限を解消すること。
• モデルの複雑さを増加させず、新しいハイパーパrameterを導入せずにラベル伝搬をGCNに統合する手法を開発すること。
• 特に推論時に隣接ノードのラベルが利用可能な場合に、誘導的および帰納的設定の両方で効果的な性能向上を実現すること。
• 既存のGCNアーキテクチャおよびその変種との互換性を維持し、さまざまなグラフ学習タスクへの広範な適用可能性を確保すること。

提案手法

• この手法は、訓練中にラベル特徴量の自己ループを特に最初の層で削除することで、GCNの最初の層を変更する。特徴量伝搬のための標準的なGCNアーキテクチャは維持される。
• ラベル特徴量は入力行列 X の一部として扱われ、最初のGCN層の正規化された隣接行列 Â においてその自己接続が削除される。
• 正規化プロセス自体は変更されず、Â = D̃⁻¹/² Ã D̃⁻¹/² を用いるが、最初の畳み込み層の前に入力行列内でラベル特徴量の自己ループをゼロに設定する。
• このアプローチは、推論時に完全なグラフ構造を必要としないため、誘導的および帰納的設定の両方と互換性がある。
• 追加のパラメータやハイパーパrameterは導入されず、標準的なGCN訓練に即座に統合可能なプラグイン型の強化である。
• モデルはGCNの帰納的バイアスを活用しつつ、最初の層でのメッセージパッシングを変更することでラベル情報を組み込んでいる。

実験結果

リサーチクエスチョン

• RQ1 GCNの最初の層に対する最小限の修正が、ハイパーパrameterを追加せずにグラフ全体にラベル情報を効果的に伝搬できるか。
• RQ2 この手法による隣接ノードのラベル情報の統合が、誘導的および帰納的ノード分類タスクの性能に与える影響は何か。
• RQ3 この提案手法は、例えば暗黒マーケットの閉鎖といった主要ネットワークコンponentの停止といった構造的変化に対して、どのように耐性を示すか。
• RQ4 クラスの不均衡がある状況下で、推論時にラベルの一部しか利用できない場合、Label-GCNは標準GCNと比較してどのように性能を発揮するか。

主な発見

• 暗黒マーケットの閉鎖後（t ≥ t₄₃）に、Elliptic データセットで Label-GCN は36.4%のF1スコアを達成した。これに対して標準GCNはわずか1.5%にとどまり、顕著な性能優位が確認された。
• 帰納的設定では、Label-GCN が75.5%（±0.3）のF1スコアを達成したのに対し、GCNは56.4%（±1.4）にとどまり、未観測ノードへの一般化性能が顕著に向上した。
• 推論時に隣接ノードのラベルが利用可能な帰納的設定において、Label-GCN は違法クラスでGCN比22.2%のF1スコア向上を達成した。
• この手法は、引用ネットワークやBitcoinの反マネーロンダリングネットワークを含む複数のデータセットで、クラスの不均衡があっても性能向上を維持した。
• 暗黒マーケットの閉鎖後のF1スコア向上が持続したことから、Label-GCN は構造的破壊に対するモデルの耐性を高めたことが示された。
• 推論時により多くのラベルが利用可能な場合に性能向上が顕著に現れたことから、この手法が隣接ノードのラベル伝搬に依存していることが確認された。