[論文レビュー] On Positional and Structural Node Features for Graph Neural Networks on Non-attributed Graphs

Hejie Cui, Zijie Lu+2 more|arXiv (Cornell University)|Jul 3, 2021

Advanced Graph Neural Networks参考文献 52被引用数 9

ひとこと要約

本稿は、属性のないグラフにおけるグラフニューラルネットワーク（GNN）のための人工ノード特徴量の研究を実施し、それらを位置的および構造的タイプに分類する。10個のベンチマークデータセットを用いた広範な実験を通じて、位置的ノード分類タスクでは位置的特徴量が優れる一方、構造的ノード分類およびグラフ分類タスクでは構造的特徴量が優れることが示された。特に、新規の次数バケットレンジ初期化法を用いることで、状態の最良の結果が達成され、一部のケースでは実際の特徴量を搭載したモデルをも上回った。

ABSTRACT

Graph neural networks (GNNs) have been widely used in various graph-related problems such as node classification and graph classification, where superior performance is mainly established when natural node features are available. However, it is not well understood how GNNs work without natural node features, especially regarding the various ways to construct artificial ones. In this paper, we point out the two types of artificial node features, i.e., positional and structural node features, and provide insights on why each of them is more appropriate for certain tasks, i.e., positional node classification, structural node classification, and graph classification. Extensive experimental results on 10 benchmark datasets validate our insights, thus leading to a practical guideline on the choices between different artificial node features for GNNs on non-attributed graphs. The code is available at https://github.com/zjzijielu/gnn-positional-structural-node-features.

研究の動機と目的

• 自然なノード特徴量が存在しない属性のないグラフにおけるGNNの性能に人工ノード特徴量が与える影響を理解すること。
• 情報コンテンツおよび有用性に基づいて、一般的な人工ノード特徴量を位置的および構造的タイプに分類すること。
• 下流タスクの要件に基づいた、適切な人工ノード特徴量の選択に関する実証的知見と実用的ガイドラインを提供すること。
• 複数のグラフマイニングタスクおよびデータセットにおいて、さまざまな初期化手法の性能を評価すること。

提案手法

• 著者らは、グラフ情報のエンコード内容に基づき、人工ノード特徴量を2種類に分類する：位置的（例：位置ベース、DeepWalk）および構造的（例：次数、PageRank、固有値）。
• 10個のベンチマークデータセットを用い、3つのタスクにおいて8つの一般的な初期化手法（ランダム、ワンホット、次数、PageRank、固有値、DeepWalk、共有、次数バケットレンジ）を評価する。
• 各タスクにおいて、標準的なプロトコルに従い、公平な比較を確保するため、GNN（特にGraphSAGE）を用い、平均および和の集約手法を適用する。
• ノードを次数の範囲でグループ化することで、構造的階層をよりよくエンコードできる新しい次数ベースの初期化手法「次数バケットレンジ」を導入する。
• 位置的ノード分類、構造的ノード分類、およびグラフ分類の3種類のタスクを対象とし、精度を指標として性能を測定する。
• MUTAG、PROTEINS、IMDB-BINARY、IMDB-MULTI、その他のデータセットを含む一貫した評価フレームワークを採用し、5分割交差検証と標準偏差の報告を実施する。

実験結果

リサーチクエスチョン

• RQ1 位置的ノード分類タスクにおいて、位置的特徴量と構造的特徴量のどちらがより優れた性能を示すか？
• RQ2 異なる人工ノード特徴量は、構造的ノード分類およびグラフ分類タスクにどのように影響を与えるか？
• RQ3 適切に設計された人工ノード特徴量は、特定の状況下で実際のノード特徴量を搭載したモデルを上回ること可能か？
• RQ4 人工特徴量を用いた場合、グラフ分類において集約手法（平均対和）の相対的寄与度はいかほどか？
• RQ5 「次数バケットレンジ」という新規初期化手法は、既存の手法と比較して性能および一般化能力においてどのように差を示すか？

主な発見

• 次数バケットレンジ初期化手法は、構造的ノード分類タスクで最先端の性能を達成し、標準的な次数特徴量および他のベースラインを上回った。
• グラフ分類タスクにおいて、和集約を用いた次数特徴量を搭載したGNNは、MUTAGで84.4%、IMDB-BINARYで69.7%の精度を達成し、実際の特徴量を搭載したモデル（MUTAGで71.4%）を上回った。
• PROTEINSでは、PageRankを用いた和集約が、IMDB-BINARYで70.3%の精度を達成し、実際の特徴量ベースライン（PROTEINSで67.8%）を上回った。
• 和集約は、周囲ノードの数（カードナリティ）の情報をより良く保持するため、グラフ分類タスクで平均集約よりも一貫して優れた性能を示した。
• 構造的ノード特徴量、特にPageRankおよび次数ベースの手法は、すべてのグラフ分類データセットにおいて一貫して位置的特徴量を上回った。
• 自然なノード特徴量が存在しない状況下でも、適切に設計された人工特徴量は、特定の設定において実際の特徴量を搭載したモデルを上回るGNN性能を実現できる。