[論文レビュー] A pipeline for fair comparison of graph neural networks in node classification tasks

Wentao Zhao, Dalin Zhou+2 more|arXiv (Cornell University)|Dec 19, 2020

Advanced Graph Neural Networks参考文献 55被引用数 5

ひとこと要約

本論文は、ノード分類タスクにおけるグラフニューラルネットワーク（GNN）の公平な比較のための標準化され再現可能なベンチマークパイプラインを提案する。統一されたトレーニング手順、小規模データセットにおけるk-fold交差検証、およびnode2vecとラプラシアン固有ベクトルを用いたシステム的なデータ拡張を導入し、トポロジカル特徴量と適切なデータ拡張が、特に非連結グラフにおいて顕著に性能向上をもたらすことを示している。

ABSTRACT

Graph neural networks (GNNs) have been investigated for potential applicability in multiple fields that employ graph data. However, there are no standard training settings to ensure fair comparisons among new methods, including different model architectures and data augmentation techniques. We introduce a standard, reproducible benchmark to which the same training settings can be applied for node classification. For this benchmark, we constructed 9 datasets, including both small- and medium-scale datasets from different fields, and 7 different models. We design a k-fold model assessment strategy for small datasets and a standard set of model training procedures for all datasets, enabling a standard experimental pipeline for GNNs to help ensure fair model architecture comparisons. We use node2vec and Laplacian eigenvectors to perform data augmentation to investigate how input features affect the performance of the models. We find topological information is important for node classification tasks. Increasing the number of model layers does not improve the performance except on the PATTERN and CLUSTER datasets, in which the graphs are not connected. Data augmentation is highly useful, especially using node2vec in the baseline, resulting in a substantial baseline performance improvement.

研究の動機と目的

• ノード分類におけるGNNアーキテクチャの公平な比較のための標準化されたトレーニング設定の欠如に対処すること。
• 多様なGNNモデル間で一貫したハイパーパramータ、モデルの深さ、パラメータ予算を保証する再現可能な実験パイプラインを確立すること。
• データ拡張技術を用いて、入力特徴量（特にトポロジカル情報）がGNN性能に与える影響を評価すること。
• 将来の研究者が、均一な評価条件のもとで新しいモデルやデータセットをフレームワークに拡張できるようにすること。

提案手法

• すべての7つのGNNアーキテクチャにおいて、固定されたハイパーパramータ、パラメータ予算、モデルの深さを有する、PyTorchおよびPyTorch Geometricを用いた標準化されたトレーニングパイプラインを実装する。
• 小規模データセットでは、ランダムな分割に代わり、10-fold交差検証戦略を採用することで、公平かつ安定したモデル評価を確保する。
• ノードのトポロジカル情報を入力特徴に豊かにするために、node2vecおよびラプラシアン固有ベクトルを用いたデータ拡張を適用する。
• 最適化手法、学習率、エポックの早期停止を含む、同一のトレーニング条件のもとでモデル性能を評価することで、比較可能性を確保する。
• フレームワークはモジュール式に拡張可能であり、研究者が新しいモデルやデータセットを一貫した評価プロトコルのもとで統合できる。
• GatedGCNおよびResGatedGCNでは、ゲート付きメッセージパッシングを用いて長期依存関係をモデル化するGRUベースのアグリゲーション機構が用いられる。

実験結果

リサーチクエスチョン

• RQ1 データ拡張によるトポロジカル特徴量の組み込みが、ノード分類におけるGNN性能にどのように影響するか？
• RQ2 同一の設定でトレーニングされた場合、異なるGNNアーキテクチャは多様なグラフ構造に対してどの程度一般化するか？
• RQ3 層の数を増やすことで、すべてのグラフタイプにおいて性能が一貫して向上するのか？
• RQ4 小規模データセットにおけるk-fold交差検証は、ランダムな分割に比べて、どの程度公平なモデル評価を保証するか？
• RQ5 node2vecとラプラシアン固有ベクトルのどちらが、ベースライン性能の向上に相対的により大きな影響を与えるか？

主な発見

• トポロジカル情報、特にデータ拡張を介して組み込まれたものにより、大多数のデータセットにおいてノード分類性能が顕著に向上する。
• 層の数を増やすことは、PATTERNおよびCLUSTERデータセット（非連結）を除き、性能向上をもたらさない。これは、連結グラフでは過学習または勾配消失が生じる可能性を示唆している。
• node2vecを用いたデータ拡張は、ベースライン性能を顕著に向上させる。これは、学習されたノード表現がGNNにとって極めて有益であることを示している。
• 小規模データセットにおけるk-fold交差検証は、ランダムな分割よりも信頼性が高く公平なモデル比較をもたらす。
• GatedGCNおよびResGatedGCNは、GRUベースのメッセージパッシングにより長期依存関係をモデル化できるため、優れた性能を示す。
• 提案されたベンチマークフレームワークにより、多様なデータセットおよびアーキテクチャを対象とした一貫性・再現性・公平性のあるGNNモデル比較が可能になった。