[論文レビュー] A Network Science perspective of Graph Convolutional Networks: A survey

Mingshan Jia, Bogdan Gabryś+1 more|arXiv (Cornell University)|Jan 12, 2023

Complex Network Analysis Techniques被引用数 5

ひとこと要約

本稿は、層ごとのメッセージアグリゲーション範囲、メッセージ内容、全体的な学習範囲に基づいてGCNを分類する新しい分類法を導入することで、グラフ畳み込みネットワーク（GCN）に対するネットワーク科学的視点を確立する。伝統的なネットワーク科学的手法—中心性、クラスタリング、モチーフ—をGCNと結びつけ、構造的知見がGCNの設計、解釈可能性、モデル選択をどのように向上させられるかを明らかにする。

ABSTRACT

The mining and exploitation of graph structural information have been the focal points in the study of complex networks. Traditional structural measures in Network Science focus on the analysis and modelling of complex networks from the perspective of network structure, such as the centrality measures, the clustering coefficient, and motifs and graphlets, and they have become basic tools for studying and understanding graphs. In comparison, graph neural networks, especially graph convolutional networks (GCNs), are particularly effective at integrating node features into graph structures via neighbourhood aggregation and message passing, and have been shown to significantly improve the performances in a variety of learning tasks. These two classes of methods are, however, typically treated separately with limited references to each other. In this work, aiming to establish relationships between them, we provide a network science perspective of GCNs. Our novel taxonomy classifies GCNs from three structural information angles, i.e., the layer-wise message aggregation scope, the message content, and the overall learning scope. Moreover, as a prerequisite for reviewing GCNs via a network science perspective, we also summarise traditional structural measures and propose a new taxonomy for them. Finally and most importantly, we draw connections between traditional structural approaches and graph convolutional networks, and discuss potential directions for future research.

研究の動機と目的

• 伝統的なネットワーク科学的手法とグラフ畳み込みネットワーク（GCN）の間のギャップを埋めること。これらはしばしば別個の分野として扱われる。
• ネットワーク科学における伝統的構造的測定の新しい分類法を構築し、中心性、モチーフ、グラフレットといった概念を構造的視点の下で統合すること。
• GCNを3つの構造的レンズ—メッセージアグリゲーション範囲、メッセージ内容、全体的な学習範囲—から分類すること。
• 伝統的構造的測定がGCNの設計、解釈可能性の向上、モデル選択をどのように支援できるかを検討すること。
• ネットワーク科学とGCNの交差領域における今後の研究方向性を特定・提案すること。具体的にはエッジ特徴の統合や説明可能性の向上を含む。

提案手法

• 構造的情報に基づいて、伝統的ネットワーク科学的測定を統合的な分類法にまとめる。中心性、クラスタリング係数、モチーフ、グラフレットといった概念を共通の枠組みの下にグループ化する。
• GCNの3次元分類を提唱する：(1) 層ごとのメッセージアグリゲーション範囲（例：局所的 vs. 全体的）、(2) メッセージ内容（例：ノード特徴、エッジ属性、構造的パターン）、(3) 全体的な学習範囲（例：誘導的 vs. 伝播的学習）。
• ネットワーク科学の視点からGCNが利用する構造的情報を分析し、異なるGCNアーキテクチャがトポロジカル特徴をどのように活用しているかを同定する。
• 伝統的構造的測定とGCNメカニズムの間の概念的・機能的関連性を描く。例えば、モチーフ頻度やクラスタリング係数がGCN性能に与える影響を示す。
• エッジレベルの構造的測定—エッジクラスタリング係数やローカルパスインデックス—をGCNのメッセージパッシングに統合することで、特徴表現を向上させる可能性を示唆する。
• 伝統的構造的指標をモデル選択や解釈可能性のための診断ツールとして活用することを提言する。例えば、三角形が多いか四角形が多いかといったグラフトポロジーに応じてGCNアーキテクチャを選択する。

Figure 1. Taxonomy of graph convolutional networks from structural perspectives.

実験結果

リサーチクエスチョン

• RQ1 伝統的なネットワーク科学的手法を、共通の構造的視点の下で体系的に分類・統合することは可能か？
• RQ2 異なるGCNアーキテクチャは、グラフの構造的情報をどのように活用しているのか。これは形式的に分類可能か？
• RQ3 伝統的構造的測定（例：中心性、モチーフ）とGCNのメッセージパッシングメカニズムとの間には、どのような機能的・概念的関連性があるか？
• RQ4 伝統的構造的測定は、特定のグラフタイプやタスクに適したGCNモデルの選択・設計をどのように支援できるか？
• RQ5 エッジレベルの構造的特徴は、GCNの性能向上と解釈可能性向上にどのような役割を果たすか？

主な発見

• 本稿は、伝統的ネットワーク科学的手法の包括的な分類法を確立し、中心性、クラスタリング、モチーフ、グラフレットといった多様な概念を共通の構造的フレームワークの下に統合した。
• GCNは、アグリゲーション範囲（局所的／全体的）、メッセージ内容（ノード／エッジ／構造的特徴）、学習範囲（誘導的／伝播的）の3軸に沿って体系的に分類され、アーキテクチャ間の設計パターンが明らかになった。
• クラスタリング係数やモチーフ頻度といった伝統的構造的測定が、GCNの挙動と直接関連していることが示され、GCNがこれらのパターンを暗黙的に学習・活用している可能性が示唆された。
• エッジクラスタリング係数やローカルパスインデックスといったエッジレベルの構造的測定をGCNのメッセージパッシングに統合することは、モデルの表現力と精度を向上させる有望な方向性であると同定された。
• 構造的測定は、モデル選択のための診断ツールとして機能でき、特定のトポロジカル特徴（例：三角形が多い vs. 四角形が多いグラフ）を持つグラフに対して適したGCNアーキテクチャが存在することが示された。
• 本稿は、GCNの説明可能性と解釈可能性が主な課題であると特定し、伝統的構造的測定が特定のグラフタイプでより良い性能を示すGCNの理由を解明する手がかりを提供できると提言した。

Figure 2. Structural measures on graphs.