[論文レビュー] Improving Graph Neural Networks with Simple Architecture Design

Sunil Kumar Maurya, Xin Liu+1 more|arXiv (Cornell University)|May 17, 2021

Advanced Graph Neural Networks参考文献 36被引用数 17

ひとこと要約

本稿では、ソフトマックスベースのソフト選択とホップ正規化を用いて特徴量集約と表現学習を分離することで、ノード分類タスクにおいて最先端のモデルよりも最大64%高い精度を達成する、シンプルで効果的なグラフニューラルネットワークFSGNNを提案する。同時に、解釈可能な特徴量重要度分析と数十億エッジに達する大規模グラフへのスケーラビリティを実現する。

ABSTRACT

Graph Neural Networks have emerged as a useful tool to learn on the data by applying additional constraints based on the graph structure. These graphs are often created with assumed intrinsic relations between the entities. In recent years, there have been tremendous improvements in the architecture design, pushing the performance up in various prediction tasks. In general, these neural architectures combine layer depth and node feature aggregation steps. This makes it challenging to analyze the importance of features at various hops and the expressiveness of the neural network layers. As different graph datasets show varying levels of homophily and heterophily in features and class label distribution, it becomes essential to understand which features are important for the prediction tasks without any prior information. In this work, we decouple the node feature aggregation step and depth of graph neural network and introduce several key design strategies for graph neural networks. More specifically, we propose to use softmax as a regularizer and "Soft-Selector" of features aggregated from neighbors at different hop distances; and "Hop-Normalization" over GNN layers. Combining these techniques, we present a simple and shallow model, Feature Selection Graph Neural Network (FSGNN), and show empirically that the proposed model outperforms other state of the art GNN models and achieves up to 64% improvements in accuracy on node classification tasks. Moreover, analyzing the learned soft-selection parameters of the model provides a simple way to study the importance of features in the prediction tasks. Finally, we demonstrate with experiments that the model is scalable for large graphs with millions of nodes and billions of edges.

研究の動機と目的

• スタックされたGNNレイヤーにおける特徴量重要度とモデル表現力の分離の課題に対処すること。
• 深層アーキテクチャに依存せずに、同型的および異型的グラフデータセットの両方で性能を向上させること。
• 学習可能なソフト選択パラメータを用いて、解釈可能な特徴量重要度分析を可能とすること。
• 数百万ノードおよび数十億エッジを含む大規模グラフに適したスケーラブルな浅層GNNモデルを設計すること。
• 単純なアーキテクチャの変更が、複雑で深層的なGNNバージョンを上回ることを示すこと。

提案手法

• 隣接ノードの特徴量集約と最終的なMLP変換を分離することで、特徴量集約と表現学習を分離する。
• 異なるホップ距離からの特徴量を集約する際に動的に重みを付与するソフトマックスベースのソフトセレクタを導入する。
• 訓練の安定化と勾配消失・爆発の防止を目的に、ホップ正規化を適用する。
• 残差接続や複雑な正規化を避けるために、学習可能なスカラー重みとReLU活性化関数を用いた二層構造を採用する。
• 異なるホップからの特徴量のうち、どの特徴量が最も関連性があるかを学習できる独自の特徴量マッピング戦略を採用する。
• 学習率、正則化係数、ドロップアウトなどのハイパーパrameterをグリッドサーチを用いて最適化し、Adam最適化手法で訓練する。

実験結果

リサーチクエスチョン

• RQ1 シンプルで浅いGNNアーキテクチャは、より深く複雑なモデルを上回る性能を発揮できるか？
• RQ2 複数のホップにわたる特徴量重要度を効果的にモデル化・解釈可能にできるか？
• RQ3 特徴量集約と表現学習を分離することで、モデルの性能と一般化能力が向上するか？
• RQ4 提案モデルは同型的および異型的グラフデータセットの両方で高い性能を維持できるか？
• RQ5 ogbn-papers100M（10億エッジ以上）のような非常に大規模なグラフに対してもスケーラブルか？

主な発見

• CoraデータセットではFSGNNが67.17%のテスト精度を達成し、SGC（63.29%）、Node2Vec（58.07%）、SIGN（65.11%）を上回り、前回の最先端技術比で64%の向上を達成した。
• 3、8、16、32の異なるホップ数に対しても一貫した性能を示しており、効果的なソフト選択のおかげで集約深さに強く、ロバストであることが示された。
• ogbn-papers100Mデータセットでは、すべての先行最先端モデルを上回る精度を達成し、大規模グラフへのスケーラビリティを実証した。
• 学習されたソフト選択重みの分析から、ChameleonおよびSquirrelデータセットは従来の低品質な異型性仮定とは対照的に、強い異型性を示していることが判明した。
• ホップ数の増加に伴う性能低下が最小限に抑えられており、ソフトアテンション機構がノイズや関連性のない長距離特徴量を効果的に抑制していることが確認された。
• アブレーションスタディの結果、ソフト選択とホップ正規化の両方が不可欠な要素であり、それらを除去すると顕著な性能低下が生じた。