[論文レビュー] Topological based classification using graph convolutional networks

Roy Abel, Idan Benami+1 more|arXiv (Cornell University)|Oct 26, 2019

Advanced Graph Neural Networks参考文献 36被引用数 6

ひとこと要約

本稿では、グラフのトポロジーから導出された構造的ノード特徴量をメッセージパッシングに組み込むことで、グラフ畳み込みネットワーク（GCNs）にトポロジカルな誘導バイアスを導入する手法を提案する。遠く離れたノード同士を、類似したトポロジカルな役割を持つノード同士に接続することで、分類精度が著しく向上し、Cora、PubMed、Physicsのデータセットで最先端の手法を上回ることを示している。一方で、直接的なトポロジカル特徴量の入力は性能を低下させることから、トポロジーは特徴量としてではなく、接続性を強化するためのものであることが示唆される。

ABSTRACT

In colored graphs, node classes are often associated with either their neighbors class or with information not incorporated in the graph associated with each node. We here propose that node classes are also associated with topological features of the nodes. We use this association to improve Graph machine learning in general and specifically, Graph Convolutional Networks (GCN). First, we show that even in the absence of any external information on nodes, a good accuracy can be obtained on the prediction of the node class using either topological features, or using the neighbors class as an input to a GCN. This accuracy is slightly less than the one that can be obtained using content based GCN. Secondly, we show that explicitly adding the topology as an input to the GCN does not improve the accuracy when combined with external information on nodes. However, adding an additional adjacency matrix with edges between distant nodes with similar topology to the GCN does significantly improve its accuracy, leading to results better than all state of the art methods in multiple datasets.

研究の動機と目的

• ノードの周囲のクラスやノードの内容とは異なる、ノードのトポロジカル特徴量が、グラフニューラルネットワークにおけるノード分類精度を向上させることを調査すること。
• 標準的なGCNアーキテクチャと比較して、トポロジカル特徴量を入力として明示的に組み込むことで、GCNsの性能が向上するかどうかを評価すること。
• 類似したトポロジカルな役割を持つノード同士に新たな辺を構築することで、分類精度が向上するかどうかを調査すること。
• コンテンツに依存しないノード分類手法を構築し、構造的トポロジーを活用することで、より高い耐性とプライバシー保護性を実現すること。

提案手法

• ノードをグラフ距離を保持する低次元空間にマッピングするための多次元尺度構成（MDS）を用い、グラフのトポロジカル構造を捉える。
• ノードの構造的役割を表す特徴量として、各ノードのMDS座標を抽出する。
• 隣接行列に、類似したトポロジカル特徴量を持つノード同士を接続する辺を追加する、修正されたGCNアーキテクチャ（T-GCN）を提案する。
• 対称的かつ正規化された隣接行列を用い、トポロジカル類似性に基づいて長距離の辺を追加することで、遠く離れた構造的に類似したノード間でのメッセージパッシングを向上させる。
• T-GCNのアーキテクチャをGAT（T-GAT）に拡張し、拡張された隣接行列上で注目メカニズムを用いて、トポロジカルに類似したノードからのメッセージの重みを調整する。
• Cora、CiteSeer、PubMed、Physics、CS、Cora-Fullの各データセットで標準的な分割を用い、安定性を確保するため100回の試行で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ノードのグラフ内における構造的位置から導出されるトポロジカル特徴量は、GCNsにおけるノード分類精度を向上させることができるか？
• RQ2 GCNsに直接的にトポロジカル特徴量を入力として使用することは、コンテンツベースや近隣ベースの入力と比較して性能を向上させるか？
• RQ3 類似したトポロジカル特徴を持つノード同士に辺を追加することで、標準的なGCNやGATと比較して分類性能が向上するか？
• RQ4 提案手法は、ベンチマークの論文引用ネットワークおよび学術的ネットワークデータセットで最先端の手法を上回る性能を発揮するか？
• RQ5 ノードのコンテンツが使用されない状況でも、本手法は有効であるか？

主な発見

• T-GCNとT-GATは、Cora、PubMed、Physicsの各データセットで、すべてのベースライン手法を上回り、Coraではそれぞれ83.0%および83.8%の精度を達成した。
• PubMedでは、T-GCNが79.8%の精度を達成し、元のGCN（79.0%）およびGAT（79.0%）を0.8ポイント上回った。
• CiteSeerデータセットでは、T-GCNが71.3%の精度を達成し、元のGCN（70.3%）を上回り、ランダムな分割下でもGCNと比較して3.3%の改善を示した。
• トポロジカルに類似したノード同士に長距離の辺を追加することで性能が著しく向上するが、直接的なトポロジカル特徴量の入力は精度を低下させる。
• Cora-FullおよびPhysicsでは、T-GCNがそれぞれ62.1%および93.0%の精度を達成し、N-GCNやGATといった最先端のモデルと同等またはそれ以上の性能を示した。
• 本手法は複数のデータセットおよび分割に対して一貫した改善を示し、ノードのコンテンツが使用されない状況でも有効であることが確認された。これは、プライバシー保護型分類において価値があることを示している。