[论文解读] JITuNE: Just-In-Time Hyperparameter Tuning for Network Embedding Algorithms

Mengying Guo, Tao Yi+2 more|arXiv (Cornell University)|Jan 16, 2021

Advanced Graph Neural Networks参考文献 33被引用 4

一句话总结

JITUne 提出了一种面向网络嵌入算法的即时超参数调优框架，通过分层网络摘要和知识迁移加速调优过程，在受限时间预算内实现了最先进性能。该框架通过在逐步粗化的网络表示上进行调优，并将学习到的配置迁移至完整网络，实现了更快、更高效的优化。

ABSTRACT

Network embedding (NE) can generate succinct node representations for massive-scale networks and enable direct applications of common machine learning methods to the network structure. Various NE algorithms have been proposed and used in a number of applications, such as node classification and link prediction. NE algorithms typically contain hyperparameters that are key to performance, but the hyperparameter tuning process can be time consuming. It is desirable to have the hyperparameters tuned within a specified length of time. Although AutoML methods have been applied to the hyperparameter tuning of NE algorithms, the problem of how to tune hyperparameters in a given period of time is not studied for NE algorithms before. In this paper, we propose JITuNE, a just-in-time hyperparameter tuning framework for NE algorithms. Our JITuNE framework enables the time-constrained hyperparameter tuning for NE algorithms by employing the tuning over hierarchical network synopses and transferring the knowledge obtained on synopses to the whole network. The hierarchical generation of synopsis and a time-constrained tuning method enable the constraining of overall tuning time. Extensive experiments demonstrate that JITuNE can significantly improve performances of NE algorithms, outperforming state-of-the-art methods within the same number of algorithm runs.

研究动机与目标

• 为解决在大规模网络上对网络嵌入（NE）算法进行超参数调优时运行时间过长的问题。
• 开发一种时间受限的优化框架，确保在用户指定的时间预算内获得高质量的配置。
• 克服现有方法的局限性，如随机子网络采样以及无法处理类别型超参数的问题。
• 在保持结构保真度的前提下，实现从小型网络摘要到完整网络的有效知识迁移。
• 支持多种超参数类型，包括类别型和数值型，以提升在多样化 NE 算法中的适用性。

提出的方法

• 通过一种保持局部和全局网络结构的粗化过程，构建分层网络摘要。
• 采用相似性度量模块，基于与原始网络的结构相似性，识别最具有代表性的摘要用于超参数调优。
• 在选定的摘要上应用时间受限的贝叶斯优化框架，以高效探索超参数空间。
• 利用元学习器将从摘要中学到的最优超参数配置迁移至完整网络，该学习器综合考虑了结构和性能的相似性。
• 集成早期停止和渐进采样机制，确保总调优时间始终在用户定义的限制范围内。
• 支持数值型和类别型超参数，从而在多种 NE 算法中具备更广泛的应用潜力。

实验结果

研究问题

• RQ1 基于分层摘要的方法是否能在不损失性能的前提下，显著减少网络嵌入超参数调优所需的时间？
• RQ2 从网络摘要向完整网络进行知识迁移，在提升调优效率和准确性方面有多高效？
• RQ3 该框架是否能在时间受限的环境下同时处理数值型和类别型超参数？
• RQ4 在时间约束下，JITuNE 与最先进 AutoML 及 NE 专用调优方法相比，在性能和速度方面表现如何？
• RQ5 摘要的选择在多大程度上影响最终超参数配置的质量？

主要发现

• 与最先进方法相比，JITUne 显著提升了网络嵌入算法的性能，在相同算法运行次数下取得了更优结果。
• 该框架通过利用分层摘要和早期停止机制，显著缩短了调优时间，确保结果能够准时交付。
• 稳定性分析表明，在 Arxiv 网络上进行五次独立调优运行时，超参数配置保持一致，链路预测任务中的性能方差低于 0.001。
• 在七个真实世界网络的链路预测和节点分类基准测试中，该方法在性能上均优于 AutoNE 和其他 AutoML 基线方法。
• 与直接在完整网络上进行调优相比，从摘要到完整网络的知识迁移使链路预测准确率最高提升了 5.2%。
• 即使在大规模网络上，该框架仍保持高效率，调优时间被控制在用户指定的限制内，且解决方案质量未出现下降。