[论文解读] Design Space for Graph Neural Networks

Jiaxuan You, Rex Ying+1 more|arXiv (Cornell University)|Nov 17, 2020

Advanced Graph Neural Networks参考文献 55被引用 159

一句话总结

本文定义了一个覆盖 315,000 个设计、跨 32 个任务的通用 GNN 设计空间，引入用于指导设计迁移的任务相似性空间，并提供可扩展的评估方法及 GraphGym 平台，以实现可重复的 GNN 研究。

ABSTRACT

The rapid evolution of Graph Neural Networks (GNNs) has led to a growing number of new architectures as well as novel applications. However, current research focuses on proposing and evaluating specific architectural designs of GNNs, as opposed to studying the more general design space of GNNs that consists of a Cartesian product of different design dimensions, such as the number of layers or the type of the aggregation function. Additionally, GNN designs are often specialized to a single task, yet few efforts have been made to understand how to quickly find the best GNN design for a novel task or a novel dataset. Here we define and systematically study the architectural design space for GNNs which consists of 315,000 different designs over 32 different predictive tasks. Our approach features three key innovations: (1) A general GNN design space; (2) a GNN task space with a similarity metric, so that for a given novel task/dataset, we can quickly identify/transfer the best performing architecture; (3) an efficient and effective design space evaluation method which allows insights to be distilled from a huge number of model-task combinations. Our key results include: (1) A comprehensive set of guidelines for designing well-performing GNNs; (2) while best GNN designs for different tasks vary significantly, the GNN task space allows for transferring the best designs across different tasks; (3) models discovered using our design space achieve state-of-the-art performance. Overall, our work offers a principled and scalable approach to transition from studying individual GNN designs for specific tasks, to systematically studying the GNN design space and the task space. Finally, we release GraphGym, a powerful platform for exploring different GNN designs and tasks. GraphGym features modularized GNN implementation, standardized GNN evaluation, and reproducible and scalable experiment management.

研究动机与目标

• 推动超越单一架构评估，研究完整的 GNN 设计空间。
• 定义覆盖 层内、层间 和 学习配置维度 的通用 GNN 设计空间。
• 提出一个 GNN 任务空间及任务相似性度量，以实现跨任务的快速设计迁移。
• 开发高效的设计空间评估方法，从数百万个模型-任务组合中提炼洞见。
• 发布 GraphGym 作为一个模块化、标准化的平台，用于探索 GNN 设计和任务。

提出的方法

• 定义覆盖 层内、层间 和 训练配置的 12 个设计维度，形成一个 315,000 设计的 GNN 空间。
• 通过跨任务的锚点模型性能的 Kendall 秩相关性来衡量任务之间的相似性，从而构建任务空间。
• 在固定计算预算内，使用受控随机搜索评估大量模型-任务组合的设计。
• 通过排名分析和统计检验，在每个设计维度进行 96 次实验，识别出指南性设计选择。
• 为实际迁移实验压缩设计空间，并通过跨任务迁移设计进行验证。
• 发布带有可模块化 GNN 实现和标准化评估的 GraphGym，以实现可重复实验。

实验结果

研究问题

• RQ1 通用的 GNN 设计空间是否能揭示超越单一架构如 GCN 或 GAT 的稳健设计原则？
• RQ2 按照所提出的任务相似性度量定义的相似任务中，表现最好的 GNN 设计的可迁移性有多强？
• RQ3 在 层内、层间 和 训练配置 的有效 GNN 设计中，会浮现出哪些指南？

主要发现

• 加入 BatchNorm 通常有助于 GNN 训练。
• PReLU 成为 GNN 的一个强有力的激活函数选择。
• 求和聚合在跨任务上经验上非常具有表达力。
• 在层间设计中，Skip-Cat 连接通常优于 Skip-Sum。
• 批量大小 32 和学习率 0.01 常表现良好，在许多情况下 Adam 优于 SGD。
• 任务空间使得在相似任务之间转移最佳设计成为可能，转移性能具有高度相关性。
• 压缩后的设计空间能够在具有挑战性的新任务上实现最先进的性能（例如 ogbg-molhiv）。