[论文解读] A Novel Genetic Algorithm with Hierarchical Evaluation Strategy for Hyperparameter Optimisation of Graph Neural Networks

Yingfang Yuan, Wenjun Wang+2 more|arXiv (Cornell University)|Jan 22, 2021

Machine Learning in Materials Science参考文献 45被引用 11

一句话总结

本文提出HESGA，一种新型遗传算法，采用分层评估策略，用于图神经网络（GNNs）的超参数优化。该方法结合快速早期停止RMSE差异评分与完整训练评估，以降低计算成本，同时保持高性能，在三个分子性质预测基准上，其在GC模型上的表现优于贝叶斯优化，在MPNN模型上与之相当。

ABSTRACT

Graph representation of structured data can facilitate the extraction of stereoscopic features, and it has demonstrated excellent ability when working with deep learning systems, the so-called Graph Neural Networks (GNNs). Choosing a promising architecture for constructing GNNs can be transferred to a hyperparameter optimisation problem, a very challenging task due to the size of the underlying search space and high computational cost for evaluating candidate GNNs. To address this issue, this research presents a novel genetic algorithm with a hierarchical evaluation strategy (HESGA), which combines the full evaluation of GNNs with a fast evaluation approach. By using full evaluation, a GNN is represented by a set of hyperparameter values and trained on a specified dataset, and root mean square error (RMSE) will be used to measure the quality of the GNN represented by the set of hyperparameter values (for regression problems). While in the proposed fast evaluation process, the training will be interrupted at an early stage, the difference of RMSE values between the starting and interrupted epochs will be used as a fast score, which implies the potential of the GNN being considered. To coordinate both types of evaluations, the proposed hierarchical strategy uses the fast evaluation in a lower level for recommending candidates to a higher level, where the full evaluation will act as a final assessor to maintain a group of elite individuals. To validate the effectiveness of HESGA, we apply it to optimise two types of deep graph neural networks. The experimental results on three benchmark datasets demonstrate its advantages compared to Bayesian hyperparameter optimization.

研究动机与目标

• 为解决图神经网络（GNNs）超参数优化（HPO）的高计算成本问题，该问题涉及每个候选配置的昂贵完整训练。
• 通过引入基于训练早期阶段RMSE差异的快速评估方法，减轻HPO的时间与资源负担。
• 开发一种分层评估策略，利用快速评估指导候选选择，通过完整评估保持精英个体，实现效率与准确性的平衡。
• 在真实世界分子性质预测数据集上，使用两种常见GNN架构（图卷积GC与消息传递神经网络MPNN）验证所提方法的有效性。
• 证明该方法在显著降低计算成本的同时，实现优于或等同于贝叶斯优化的性能。

提出的方法

• HESGA采用遗传算法框架，通过多代演化优化超参数配置群体。
• 其快速评估策略通过计算初始训练与早期训练阶段（如训练完成10%后）的RMSE差异，作为代理适应度分数。
• 在每代中，对所有子代应用快速评估，以对候选进行排序并选择有前景的个体进入完整评估。
• 从快速评估中选出的性能最优子集将进行完整训练，以在验证集上计算真实RMSE，作为最终适应度分数用于选择。
• 分层策略确保仅有少量候选（由精英比例决定）进入完整评估，从而最小化昂贵的训练调用次数。
• 算法通过快速评分进行选择，通过完整评分维持精英群体，实现探索与开发的平衡，计算成本建模为完整与快速评估次数的线性函数。

实验结果

研究问题

• RQ1 结合快速与完整评估的分层评估策略，是否能在不牺牲解质量的前提下降低GNN超参数优化的计算成本？
• RQ2 基于早期RMSE差异的快速评估方法，在预测GNN配置最终性能方面的有效性如何？
• RQ3 在GNN架构上，HESGA在最终RMSE与计算效率方面是否优于贝叶斯超参数优化？
• RQ4 当应用于不同数据集与GNN模型时，HESGA的可扩展性如何，特别是在不同训练成本约束下？
• RQ5 HESGA能否扩展至处理双目标优化，例如在模型性能与训练成本之间实现平衡？

主要发现

• 在ESOL、FreeSolv与Lipophilicity数据集上，HESGA在优化图卷积（GC）模型时，性能显著优于贝叶斯超参数优化（BHO）。
• 在MPNN模型上，HESGA性能与BHO相当，表明其在不同GNN架构间具有强大的泛化能力。
• HESGA的计算成本估计相当于单次运行中约3,000次完整训练操作（O_GC），该运行配置为10个种群、10代、100个周期，显著降低了完整搜索的计算成本。
• 基于早期RMSE差异的快速评估方法能有效预测GNN的最终性能，实现高效候选排序，且精度损失极小。
• 分层策略成功将完整评估次数控制在每代种群的10%以内，同时保持高质量解，最小化昂贵训练的调用。
• 该方法展现出良好的可扩展性与适应性，未来可扩展至代理模型或大规模场景下的部分数据训练。