[论文解读] Evolutionary Architecture Search for Graph Neural Networks

Min Shi, David Wilson+5 more|arXiv (Cornell University)|Sep 21, 2020

Machine Learning and Data Classification参考文献 42被引用 13

一句话总结

该论文提出 Genetic-GNN，一种基于进化架构搜索的框架，通过交替进化过程联合优化图神经网络（GNN）结构与超参数。该方法在半监督和归纳节点分类任务上的性能与最先进的强化学习基 NAS 方法相当，证明了进化计算在自动 GNN 设计中的有效性。

ABSTRACT

Automated machine learning (AutoML) has seen a resurgence in interest with the boom of deep learning over the past decade. In particular, Neural Architecture Search (NAS) has seen significant attention throughout the AutoML research community, and has pushed forward the state-of-the-art in a number of neural models to address grid-like data such as texts and images. However, very litter work has been done about Graph Neural Networks (GNN) learning on unstructured network data. Given the huge number of choices and combinations of components such as aggregator and activation function, determining the suitable GNN structure for a specific problem normally necessitates tremendous expert knowledge and laborious trails. In addition, the slight variation of hyper parameters such as learning rate and dropout rate could dramatically hurt the learning capacity of GNN. In this paper, we propose a novel AutoML framework through the evolution of individual models in a large GNN architecture space involving both neural structures and learning parameters. Instead of optimizing only the model structures with fixed parameter settings as existing work, an alternating evolution process is performed between GNN structures and learning parameters to dynamically find the best fit of each other. To the best of our knowledge, this is the first work to introduce and evaluate evolutionary architecture search for GNN models. Experiments and validations demonstrate that evolutionary NAS is capable of matching existing state-of-the-art reinforcement learning approaches for both the semi-supervised transductive and inductive node representation learning and classification.

研究动机与目标

• 为解决手动、耗时的 GNN 架构设计所面临的挑战，该挑战需要专家知识并涉及大量超参数调优。
• 开发一种自动化框架，联合演化 GNN 架构与学习参数，以在图结构数据上实现最优性能。
• 评估进化计算是否能有效搜索 GNN 组件（聚合器、激活函数、超参数）的庞大空间，并匹配或超越基于强化学习的 NAS 方法。
• 证明在 GNN 背景下，模型结构与超参数之间交替进化策略的可行性和有效性。

提出的方法

• 提出一种基于遗传算法的框架 Genetic-GNN，联合演化 GNN 架构组件（如聚合器类型、激活函数）与超参数（如初始学习率、dropout 率）。
• 采用一种适应度函数，平衡验证准确率与模型复杂度，并通过平衡参数 α 权衡两者之间的权衡。
• 采用交替进化策略：首先演化架构种群，然后针对每个固定架构演化超参数种群，实现相互适应。
• 维护一个候选模型种群，其中每个个体编码一个完整的 GNN 配置，包括层类型、激活函数与超参数。
• 应用选择、交叉与变异算子，在多代中演化种群以提升适应度。
• 在具有相同架构的个体之间引入参数共享，以降低训练过程中的计算成本。

实验结果

研究问题

• RQ1 进化算法能否有效搜索 GNN 架构与超参数的庞大空间，以找到高性能模型？
• RQ2 联合演化 GNN 结构与超参数是否能带来优于仅优化架构而固定超参数的性能？
• RQ3 所提出的 Genetic-GNN 在标准 GNN 基准测试中，与基于强化学习的 NAS 方法（如 GraphNAS 和 Auto-GNN）相比表现如何？
• RQ4 种群规模与进化代数等关键算法参数对最终模型性能有何影响？
• RQ5 在架构与超参数之间交替进化的过程是否能带来更鲁棒且自动化的 GNN 设计流程？

主要发现

• Genetic-GNN 的性能与最先进的强化学习基 NAS 方法相当，t 检验的 p 值为 0.05，表明两者之间无统计显著差异。
• 自动化 NAS 方法（包括 Genetic-GNN）在所有三个数据集（Cora、Citeseer、PPI）上均优于人工设计的 GNN 模型，证实了自动化搜索的价值。
• 适应度函数中最佳平衡参数 α 在 Cora 和 Citeseer 上均为 0.6，表明准确率与复杂度之间存在强烈权衡。
• 性能随种群规模增大而先提升，但在更大规模下开始下降，可能是因为搜索空间扩大，需要更多代数才能收敛。
• 模型性能随进化代数稳步提升，验证与测试准确率持续改善，尽管存在轻微波动。
• 该框架展现出可扩展潜力，性能可通过增大种群规模与增加进化代数进一步提升。