[论文解读] FLASH: Fast Bayesian Optimization for Data Analytic Pipelines

Yuyu Zhang, Mohammad Taha Bahadori+2 more|arXiv (Cornell University)|Feb 20, 2016

Machine Learning and Data Classification参考文献 37被引用 9

一句话总结

FLASH 是一种两层贝叶斯优化框架，通过首先使用参数化模型选择有前景的算法，再利用非参数化模型微调其超参数，从而加速数据分析流水线中的超参数调优。它通过利用成本敏感模型和高效的缓存机制，在仅使用 50% 时间预算的情况下，相比 SMC 和 TPE 等最先进方法，实现了高达 20% 的测试误差率降低，显著提升了全局效率。

ABSTRACT

Modern data science relies on data analytic pipelines to organize interdependent computational steps. Such analytic pipelines often involve different algorithms across multiple steps, each with its own hyperparameters. To achieve the best performance, it is often critical to select optimal algorithms and to set appropriate hyperparameters, which requires large computational efforts. Bayesian optimization provides a principled way for searching optimal hyperparameters for a single algorithm. However, many challenges remain in solving pipeline optimization problems with high-dimensional and highly conditional search space. In this work, we propose Fast LineAr SearcH (FLASH), an efficient method for tuning analytic pipelines. FLASH is a two-layer Bayesian optimization framework, which firstly uses a parametric model to select promising algorithms, then computes a nonparametric model to fine-tune hyperparameters of the promising algorithms. FLASH also includes an effective caching algorithm which can further accelerate the search process. Extensive experiments on a number of benchmark datasets have demonstrated that FLASH significantly outperforms previous state-of-the-art methods in both search speed and accuracy. Using 50% of the time budget, FLASH achieves up to 20% improvement on test error rate compared to the baselines. FLASH also yields state-of-the-art performance on a real-world application for healthcare predictive modeling.

研究动机与目标

• 为解决在包含数千种算法-超参数组合的复杂、高维且分层结构的数据分析流水线中高效优化的挑战。
• 克服现有贝叶斯优化方法在典型流水线调优中高维、条件性搜索空间下的低效问题。
• 通过引入两层框架，将算法选择与超参数调优分离，降低流水线优化的计算成本。
• 通过集成成本敏感模型和缓存机制，加速收敛。
• 在基准数据集和一个真实世界医疗预测建模任务上展示优越性能。

提出的方法

• FLASH 采用两层贝叶斯优化框架：第一层使用参数化模型，基于预期性能和成本选择高潜力算法。
• 第二层应用非参数化模型（如高斯过程）对选定算法的超参数进行微调，聚焦于有前景的路径。
• 成本敏感的采集函数优先选择单位计算成本下性能更高的流水线配置，提升样本效率。
• 有效的缓存机制存储并重用先前评估的流水线路径结果，减少冗余计算并加速搜索。
• 该框架采用基于 EIPS 的路径选择策略，利用缓存结果引导探索，优先选择高性能且易于评估的配置。
• 该方法旨在处理分析流水线的分层、条件性结构，其中算法选择会限制可用的超参数空间。

实验结果

研究问题

• RQ1 两层贝叶斯优化框架是否能在高维、条件性搜索空间的复杂数据流水线调优中优于单层方法？
• RQ2 参数化模型在超参数调优前对搜索空间的缩减效果如何？
• RQ3 缓存流水线评估结果在流水线超参数优化中能多大程度上加速收敛？
• RQ4 与标准采集函数相比，成本敏感模型在贝叶斯优化中如何提升样本效率？
• RQ5 FLASH 是否能在比 SMAC 和 TPE 等最先进方法更快的时间内实现近似最优的算法选择（即近似 oracle 性能）？

主要发现

• 在仅使用 50% 时间预算的情况下，FLASH 在基准数据集上的测试误差率相比 SMAC 和 TPE 最多降低 20%，证明了其卓越的样本效率。
• 在真实世界医疗数据集上，FLASH 搭配缓存机制在 10 小时内将测试误差降低至 2.51%，显著优于 SMAC（4.86%）和 TPE（11.75%），且时间预算相同。
• 缓存机制使 FLASH 在时间限制内评估了更多流水线路径，通过重用昂贵的特征构建和模型训练结果，加速了收敛并提升了性能。
• 在医疗数据集上，FLASH 搭配缓存机制在 6 小时内即收敛至低误差率（如 2.51% 的误差），而非缓存版本则表现出更慢的进展。
• 基于 EIPS 的路径选择策略结合缓存机制，使 FLASH 能够优先选择高性能、低成本的配置，从而更快收敛至最优流水线配置。
• 在真实世界医疗预测建模中，FLASH 实现了最先进性能，验证了其在合成基准之外的有效性。