[论文解读] Meta-Surrogate Benchmarking for Hyperparameter Optimization

Aaron Klein, Zhenwen Dai+3 more|arXiv (Cornell University)|May 30, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 41被引用 6

一句话总结

本文提出 Profet，一种元代理基准测试框架，通过使用基于概率编码器和多任务模型的生成方法，在离线数据上进行训练，从而生成低成本、真实的超参数优化（HPO）任务。该框架通过采样多样化、低成本的任务，保留了真实世界问题的统计特性，实现了统计上稳健、计算速度提升数个数量级的 HPO 方法比较。

ABSTRACT

Despite the recent progress in hyperparameter optimization (HPO), available benchmarks that resemble real-world scenarios consist of a few and very large problem instances that are expensive to solve. This blocks researchers and practitioners not only from systematically running large-scale comparisons that are needed to draw statistically significant results but also from reproducing experiments that were conducted before. This work proposes a method to alleviate these issues by means of a meta-surrogate model for HPO tasks trained on off-line generated data. The model combines a probabilistic encoder with a multi-task model such that it can generate inexpensive and realistic tasks of the class of problems of interest. We demonstrate that benchmarking HPO methods on samples of the generative model allows us to draw more coherent and statistically significant conclusions that can be reached orders of magnitude faster than using the original tasks. We provide evidence of our findings for various HPO methods on a wide class of problems.

研究动机与目标

• 解决真实世界 HPO 基准数据稀缺且计算成本高昂的问题，这些限制了大规模、具有统计显著性的比较。
• 克服因高运行时间成本和可用任务数量有限，导致 HPO 基准测试数据有限、昂贵且不可复现的挑战。
• 通过生成无限数量的低成本、真实 HPO 任务，反映真实问题的统计特性，实现可复现的大批量实验。
• 减少对单任务调优的依赖，通过支持大规模、可重复的基准测试，提升 HPO 方法的泛化评估能力。

提出的方法

• 使用概率编码器和多任务高斯过程训练生成式元模型，从少量真实、昂贵的基准实例中学习 HPO 任务的分布。
• 通过从训练好的元模型中采样，生成新的、低成本的 HPO 任务，保留全局任务特性的同时引入多样的局部变化。
• 通过参数化且快速的评估，利用代理任务对 HPO 方法进行基准测试，计算开销极低。
• 通过在真实 HPO 数据上进行训练（包括噪声和任务特异性结构），而非使用合成函数，确保与真实基准的一致性。
• 在代理任务中支持多保真度和含噪声的函数评估，以反映真实世界 HPO 的挑战。
• 将梯度信息集成到代理模型中，以支持元学习和基于梯度的优化基准测试。

实验结果

研究问题

• RQ1 元代理模型能否生成在计算上低成本且在统计上能代表真实世界问题的 HPO 任务？
• RQ2 在代理任务上对 HPO 方法进行基准测试，其结论是否与原始昂贵基准测试结果一致？
• RQ3 代理基准测试能否在保持统计可靠性的同时，将 HPO 评估的计算成本降低数个数量级？
• RQ4 在不同问题类别中，HPO 方法在原始基准和代理生成任务上的性能排名如何比较？
• RQ5 代理基准在多大程度上能提升可复现性，并支持 AutoML 研究中的大规模、可重复实验？

主要发现

• 在 Profet 生成的代理任务上对 HPO 方法进行基准测试，其结果在统计上与原始基准测试结果高度一致，即使仅使用原始任务的子集亦然。
• HPO 方法（如 BO-GP、BOHAMIANN、TPE、DE）在代理任务上的性能排名与在原始基准上的排名高度一致，p 值显示强一致性。
• 代理基准测试将大规模比较的运行时间缩短了数个数量级——例如，在 MNIST 上运行 20 次、每次 100 次评估，代理任务仅需数分钟，而真实任务则需数小时。
• 该方法在噪声条件下仍能实现可靠评估，例如在无噪声和含噪声的 SVM 基准中，性能衰减模式被有效保留。
• 在干净、低维任务中，BO-GP 表现优于其他方法；而 BOHAMIANN 在噪声环境下更具鲁棒性；DE 在高维设置中表现出竞争力。
• 代理模型支持多保真度和混合整数超参数空间，使其应用范围超越标准合成基准。