[論文レビュー] Design Space for Graph Neural Networks

Jiaxuan You, Rex Ying+1 more|arXiv (Cornell University)|Nov 17, 2020

Advanced Graph Neural Networks参考文献 55被引用数 159

ひとこと要約

本論文は、32タスクにまたがる315,000設計を含む一般的な GNN 設計空間を定義し、設計転送を導くタスク類似空間を導入し、再現性のある GNN 研究を可能にするスケーラブルな評価手法と GraphGym プラットフォームを提供する。

ABSTRACT

The rapid evolution of Graph Neural Networks (GNNs) has led to a growing number of new architectures as well as novel applications. However, current research focuses on proposing and evaluating specific architectural designs of GNNs, as opposed to studying the more general design space of GNNs that consists of a Cartesian product of different design dimensions, such as the number of layers or the type of the aggregation function. Additionally, GNN designs are often specialized to a single task, yet few efforts have been made to understand how to quickly find the best GNN design for a novel task or a novel dataset. Here we define and systematically study the architectural design space for GNNs which consists of 315,000 different designs over 32 different predictive tasks. Our approach features three key innovations: (1) A general GNN design space; (2) a GNN task space with a similarity metric, so that for a given novel task/dataset, we can quickly identify/transfer the best performing architecture; (3) an efficient and effective design space evaluation method which allows insights to be distilled from a huge number of model-task combinations. Our key results include: (1) A comprehensive set of guidelines for designing well-performing GNNs; (2) while best GNN designs for different tasks vary significantly, the GNN task space allows for transferring the best designs across different tasks; (3) models discovered using our design space achieve state-of-the-art performance. Overall, our work offers a principled and scalable approach to transition from studying individual GNN designs for specific tasks, to systematically studying the GNN design space and the task space. Finally, we release GraphGym, a powerful platform for exploring different GNN designs and tasks. GraphGym features modularized GNN implementation, standardized GNN evaluation, and reproducible and scalable experiment management.

研究の動機と目的

• 単一のアーキテクチャ評価を超えて、全体の GNN 設計空間を研究する動機づけ。
• 層内、層間、および学習設定の次元を含む一般的な GNN 設計空間を定義する。
• タスク間で迅速な設計転送を可能にするタスク類似度指標を備えた GNN タスク空間を提案する。
• 百万を超えるモデル-タスク組み合わせから洞察を抽出する効率的な設計空間評価手法を開発する。
• GNN 設計とタスクを探究するためのモジュラーで標準化されたプラットフォームとして GraphGym を公開する。

提案手法

• 層内、層間、およびトレーニング設定にまたがる12の設計次元を定義し、315,000設計の GNN 空間を形成する。
• アンカーモデルのタスク間性能の Kendall の順位相関を用いてタスク類似性を測定し、タスク空間を構築する。
• 固定計算予算内で多数のモデル-タスク組み合わせを評価するため、制御されたランダム探索を用いる。
• 各設計次元あたり96の実験を用いたランキング分析と統計検定を通じて、指針となる設計選択を特定する。
• 実践的な転送実験のために設計空間を凝縮し、タスク間で設計を転送することによって検証する。
• 再現可能な実験を可能にするため、モジュラーな GNN 実装と標準化された評価を備えた GraphGym を公開する。

実験結果

リサーチクエスチョン

• RQ1 一般的な GNN 設計空間は、GCN や GAT のような個別のアーキテクチャを超えた堅牢な設計原理を明らかにできるか。
• RQ2 提案されたタスク類似度指標によって定義される類似タスク間で、トップクラスの GNN 設計はどれほど転送可能か。
• RQ3 層内、層間、およびトレーニング設定全般にわたる効果的な GNN 設計のための指針は何か。

主な発見

• BatchNorm の導入は一般に GNN の訓練を助ける。
• PReLU が GNN の活性化関数の有力な選択として浮上する。
• 和の集約はタスクを跨いで経験的に非常に表現力が高い。
• Skip-Cat 接続が Skip-Sum を上回すことが多い。
• バッチサイズ 32 と学習率 0.01 が有利で、多くのケースで Adam が SGD を上回る。
• タスク空間は類似タスク間で最良の設計を転送可能にし、転送性能には高い相関がある。
• 凝縮設計空間は難易度の高い新しいタスク（例: ogbg-molhiv）で最先端の性能を達成できる。