[论文解读] DivBO: Diversity-aware CASH for Ensemble Learning

Yu Shen, Yu‐peng Lu+4 more|arXiv (Cornell University)|Feb 7, 2023

Machine Learning and Data Classification被引用 4

一句话总结

DivBO 是一种用于 CASH（组合算法选择与超参数优化）的贝叶斯优化框架，通过在搜索过程中显式引入模型多样性，提升集成性能。通过引入多样性代理模型和加权采集函数，DivBO 在 15 个数据集上的验证集平均排名达到 1.82，测试集平均排名达到 1.73，优于 10 种基线方法，包括近期 AutoML 系统中的事后集成方法。

ABSTRACT

The Combined Algorithm Selection and Hyperparameters optimization (CASH) problem is one of the fundamental problems in Automated Machine Learning (AutoML). Motivated by the success of ensemble learning, recent AutoML systems build post-hoc ensembles to output the final predictions instead of using the best single learner. However, while most CASH methods focus on searching for a single learner with the best performance, they neglect the diversity among base learners (i.e., they may suggest similar configurations to previously evaluated ones), which is also a crucial consideration when building an ensemble. To tackle this issue and further enhance the ensemble performance, we propose DivBO, a diversity-aware framework to inject explicit search of diversity into the CASH problems. In the framework, we propose to use a diversity surrogate to predict the pair-wise diversity of two unseen configurations. Furthermore, we introduce a temporary pool and a weighted acquisition function to guide the search of both performance and diversity based on Bayesian optimization. Empirical results on 15 public datasets show that DivBO achieves the best average ranks (1.82 and 1.73) on both validation and test errors among 10 compared methods, including post-hoc designs in recent AutoML systems and state-of-the-art baselines for ensemble learning on CASH problems.

研究动机与目标

• 解决 CASH 框架中事后集成学习缺乏多样性的问题，因为 AutoML 系统通常会推荐高度相似的配置。
• 通过在超参数搜索过程中显式平衡预测性能与多样性，提升集成性能。
• 开发一种方法，确保集成中的基学习器既准确又具有多样性，避免预测结果的冗余。
• 引入代理模型以预测未见过的配置之间的成对多样性，从而支持更明智的搜索决策。
• 证明基于多样性的搜索可在不降低单个模型性能的前提下，构建更有效的集成。

提出的方法

• 提出一种多样性代理模型，利用其概率预测的正则化欧几里得距离，预测两个未见过的机器学习配置之间的成对多样性。
• 将多样性代理模型与基于贝叶斯优化的框架结合，采用加权采集函数，平衡性能与多样性目标。
• 在优化过程中维护一个临时的基学习器池，以追踪集成的演化过程，并引导搜索向多样化且高性能的配置发展。
• 采用饱和权重机制，动态平衡采集函数中性能与多样性代理模型的影响。
• 通过观察到的配置及其成对多样性，增量式训练多样性代理模型，随时间推移逐步提高预测准确性。
• 在 CASH 设置下应用该框架，目标是在最小化验证误差的同时，最大化所选模型之间的多样性。

实验结果

研究问题

• RQ1 在 CASH 中显式进行多样性搜索，是否能提升事后集成的性能，相比仅关注性能的主流 AutoML 方法？
• RQ2 所学习的多样性代理模型与性能代理模型相比，预测模型配置之间实际成对多样性的能力如何？
• RQ3 在贝叶斯优化采集函数中引入多样性，是否能带来更丰富且更有效的集成，同时不牺牲预测准确性？
• RQ4 建议配置的多样性如何随时间演变？其演变是否与集成泛化能力的提升相关？
• RQ5 多样性代理模型是否能帮助系统更有效地避免冗余配置，从而比基线方法更显著地提升集成多样性？

主要发现

• DivBO 在 15 个公开数据集上的验证误差平均排名为 1.82，测试误差平均排名为 1.73，优于 10 种对比方法，包括近期的 AutoML 系统和最先进的集成基线方法。
• 多样性代理模型与真实多样性之间的相关性强于性能代理模型，表明其在引导搜索方面具有更高的可靠性。
• 在 quake 数据集上，经过 200 次迭代后，DivBO 建议配置的最小多样性达到 0.23，显著高于 BO-ES 和 RB-ES（均为约 0.05），表明冗余程度更低。
• 在最终阶段，DivBO 的有效池更新频率平均为每 50 次迭代 1.5 次，优于 BO-ES（0.6 次）和 RB-ES（0.8 次），表明实现了更频繁且更有意义的集成改进。
• DivBO 的最终集成表现出平均成对预测不一致度为 0.27，显著高于 RB-ES（0.13）和 BO-ES（0.09），证实基学习器之间具有更高的多样性。
• 尽管强调多样性，DivBO 仍保持了具有竞争力的基学习器性能，其平均验证误差为 44.33% ± 2.67%，与 BO-ES（44.03%）和 RB-ES（43.85%）相当，证明单个模型质量未下降。