[論文レビュー] Graph Inference Learning for Semi-supervised Classification

Chunyan Xu, Zhen Cui+4 more|arXiv (Cornell University)|Jan 17, 2020

Advanced Graph Neural Networks参考文献 33被引用数 18

ひとこと要約

この論文では、ノード属性、ランダムウォークによるノード間パス到達可能性、および局所的トポロジー構造をグラフ畳み込みを介して統合することで、ノードラベルを推論する新たなフレームワークであるグラフ推論学習（GIL）を提案する。訓練ノードから検証ノードへの構造的関係に対するメタ最適化を採用することで、特にラベルレートが低い状況下でも最先端の性能を達成し、CoraではGCNよりも1.2%の精度向上を達成した。Pubmed、Citeseer、NELLに対しても強力な結果を示した。

ABSTRACT

In this work, we address semi-supervised classification of graph data, where the categories of those unlabeled nodes are inferred from labeled nodes as well as graph structures. Recent works often solve this problem via advanced graph convolution in a conventionally supervised manner, but the performance could degrade significantly when labeled data is scarce. To this end, we propose a Graph Inference Learning (GIL) framework to boost the performance of semi-supervised node classification by learning the inference of node labels on graph topology. To bridge the connection between two nodes, we formally define a structure relation by encapsulating node attributes, between-node paths, and local topological structures together, which can make the inference conveniently deduced from one node to another node. For learning the inference process, we further introduce meta-optimization on structure relations from training nodes to validation nodes, such that the learnt graph inference capability can be better self-adapted to testing nodes. Comprehensive evaluations on four benchmark datasets (including Cora, Citeseer, Pubmed, and NELL) demonstrate the superiority of our proposed GIL when compared against state-of-the-art methods on the semi-supervised node classification task.

研究の動機と目的

• ラベルデータが限られる状況下で、既存のグラフ畳み込みネットワークの性能劣化を是正すること。
• 教師あり学習に依存せず、グラフトポロジーに基づいてラベルをどのように推論できるかを学習するメカニズムの開発。
• 訓練ノードから検証ノードへの転移可能な推論知識を学習することで、低ショット学習状況における一般化性能の向上。
• ノード属性、局所的トポロジカル構造、パス到達可能性という複数のグラフ信号を統合し、ラベル推論に向けた統一された構造的関係を構築すること。
• 構造的関係学習におけるメタラーニング戦略により、未観測のテストノードに対してもモデルのロバスト性と適応性を向上させること。

提案手法

• ノード属性、局所的トポロジカル整合性、ノード間のパス到達可能性を統合した構造的関係を定義し、ノード間の類似度を定量化する。
• ノード属性および局所的グラフ構造からの高次元特徴を、グラフ畳み込みネットワーク（GCN）を用いて符号化する。
• 長距離依存性を捉えるために、ランダムウォークに基づく確率推定を用いてノード間のパス到達可能性を計算する。
• 統合された特徴および到達可能性確率を用いて、ラベル付き参照ノードとラベルなしクエリノード間の類似度スコアとして構造的関係を構築する。
• 訓練ノードにおける構造的関係の学習をメタ最適化で行い、検証ノードでの一般化を検証することで、テストデータに自己適応可能な仕組みを実現する。
• 分類ヘッドと交差エントロピー損失を用いたエンドツーエンドのGILフレームワークを、メタラーニングで最適化することで推論一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ノード属性、局所的トポロジー、パス到達可能性を統合する統一されたフレームワークは、グラフ上のラベル推論を効果的に改善できるか？
• RQ2 訓練ノードから検証ノードへの構造的関係に対するメタ最適化は、半教師ありノード分類における一般化性能をどのように向上させるか？
• RQ3 Pubmedデータセットのような低ラベルレート条件下で、GILは既存のGCNベース手法をどの程度上回るか？
• RQ4 ノード表現モジュール、パス到達可能性モジュール、構造的関係モジュールの各々が、全体の性能に果たす寄与度はどの程度か？
• RQ5 GILの推論メカニズムは、特にラベル付きノードが極めて限られた状況下でも、未観測のテストノードにうまく一般化できるか？

主な発見

• GILは、ノード表現、パス到達可能性、構造的関係のすべてのモジュールを活用した場合、Coraデータセットで86.2%の精度を達成し、GCN（81.5%）を4.7ポイント上回った。
• 構造的関係モジュールの導入のみで、性能が81.5%から85.0%に向上した。これは、推論学習を可能にする上で、このモジュールが極めて重要な役割を果たしていることを示している。
• パス到達可能性情報を追加することで、さらに1.2%（85.0%から86.2%）の精度向上が達成され、長距離依存性を捉える価値があることが確認された。
• ラベル付きノードがたった0.3%のPubmedデータセットにおいても、GILは高い性能を維持しており、少サンプル学習環境下での優位性が裏付けられた。
• Coraの検証セットにおける分類誤差は、最初の400イテレーション以内で急激に減少し、その後は緩やかに減少する傾向を示しており、メタ学習された推論メカニズムによる効果的な知識移行と収束が示された。
• 推論学習プロセスのため、標準的なGCNよりもわずかに計算コストが高くなるが、依然として効率的であり、ベンチマークデータセットでは数秒で推論が完了する。