[論文レビュー] Semi-Supervised Node Classification by Graph Convolutional Networks and Extracted Side Information

Mohammad Esmaeili, Aria Nosratinia|arXiv (Cornell University)|Sep 29, 2020

Advanced Graph Neural Networks参考文献 28被引用数 9

ひとこと要約

本稿では、固定距離内の共通の隣接ノードに基づいて抽出された構造的サイド情報——グラフ畳み込みネットワーク（GCN）フレームワークに統合することで、半教師ありノード分類を向上させる新規なグラフ畳み込みネットワークアーキテクチャ、GCN-SIを提案する。本手法は、グラフ構造と推定されたノード関係の両方を活用することで、Cora（84.7%）、Citeseer（74.8%）、PubMed（81.0%）の各データセットで最先端の精度を達成し、GCN、GAT、DGCNなどの既存手法を上回る性能を発揮する。

ABSTRACT

The nodes of a graph existing in a cluster are more likely to connect to each other than with other nodes in the graph. Then revealing some information about some nodes, the structure of the graph (graph edges) provides this opportunity to know more information about other nodes. From this perspective, this paper revisits the node classification task in a semi-supervised scenario by graph convolutional networks (GCNs). The goal is to benefit from the flow of information that circulates around the revealed node labels. The contribution of this paper is twofold. First, this paper provides a method for extracting side information from a graph realization. Then a new GCN architecture is presented that combines the output of traditional GCN and the extracted side information. Another contribution of this paper is relevant to non-graph observations (independent side information) that exists beside a graph realization in many applications. Indeed, the extracted side information can be replaced by a sequence of side information that is independent of the graph structure. For both cases, the experiments on synthetic and real-world datasets demonstrate that the proposed model achieves a higher prediction accuracy in comparison to the existing state-of-the-art methods for the node classification task.

研究の動機と目的

• 標準的なノード特徴量を超えたグラフデータ内の構造的パターンを活用することで、半教師ありノード分類の精度を向上させること。
• 固定距離内の共通近傍の近接性に基づいて、グラフトポロジーから意味のあるサイド情報を抽出する手法を開発すること。
• 抽出されたまたは独立した非グラフサイド情報をGCNと統合し、ラベル予測性能を向上させること。
• 予測ラベルと構造的サイド情報をGCNフレームワークで統合することの有効性を示すこと。
• サイド情報の品質（ノイズありや合成入力など）が変動する状況下でも、モデルのロバストネスと性能を評価すること。

提案手法

• ノードペア間の固定距離（kホップ）内での共通ノード数を計算することでサイド情報を抽出し、構造的類似度行列を構築する。
• 指定されたホップ距離までの共通ノード数を用いてサイド情報行列を構築し、局所的なグラフ構造を捉える。
• 抽出されたサイド情報行列と元のノード特徴行列を組み合わせ、GCN用の拡張入力を作成する。
• トランスダクティブ設定下で、ラベル付きノードのクロスエントロピー損失を用いて、結合入力（元の特徴量 + サイド情報）でGCNを学習する。
• グラフ畳み込み層とサイド情報統合モジュールの両方を同時に最適化する。
• 標準的な半教師ありノード分類プロトコルに従い、実世界の（Cora、Citeseer、PubMed）および合成的（k-SBM）データセットでモデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 グラフトポロジーから抽出された構造的サイド情報は、半教師あり設定下でノード分類精度を向上させることができるか？
• RQ2 ベンチマークデータセット上で、標準的なGCNと比較して抽出されたサイド情報を統合することで、GCNの性能はどのように変化するか？
• RQ3 提案手法は、グラフ構造とは無関係な独立した非グラフサイド情報（例：ノード特徴量とは無関係な情報）を効果的に活用できるか？
• RQ4 サイド情報の品質（例：ノイズありまたは合成入力）が最終的な予測精度にどのように影響するか？
• RQ5 サイド情報による予測ラベルの統合は、標準的なGCNと比較して、より優れた一般化性能をもたらすか？

主な発見

• CoraデータセットではGCN-SIが84.7%の精度を達成し、標準的なGCN（81.5%）およびDGCN（83.5%）やTAGCN（83.3%）といった他の最先端手法を上回る。
• CiteseerではGCN-SIが74.8%の精度を達成し、GCN（70.3%）とGAT（72.5%）を上回り、全データセットで一貫した向上が確認された。
• PubMedではGCN-SIが81.0%の精度を達成し、以前の最先端手法DGCN（80.0%）とGCN（79.0%）を上回った。
• 抽出されたサイド情報の推定品質は、Coraで63%、Citeseerで52%、PubMedで51%であり、有意義な構造的パターンが捉えられていることが示された。
• ノイズが混入した合成サイド情報と組み合わせた場合、特にサイド情報の品質が中程度以上の場合、標準的なGCNよりも高い精度を維持した。
• サイド情報の統合により、図3～6に示すように、全データセットでテストおよび検証精度が顕著かつ一貫して向上した。