[论文解读] Black-Box Optimization Revisited: Improving Algorithm Selection Wizards through Massive Benchmarking

Laurent Meunier, Herilalaina Rakotoarison+6 more|arXiv (Cornell University)|Oct 8, 2020

Metaheuristic Optimization Algorithms Research参考文献 59被引用 40

一句话总结

本论文介绍 OptimSuite，一个广泛的黑盒优化基准套件，以及 ABBO，一个通用算法选择向导，能够在不进行任务特定调优的情况下在多样化任务上都表现良好。

ABSTRACT

Existing studies in black-box optimization for machine learning suffer from low generalizability, caused by a typically selective choice of problem instances used for training and testing different optimization algorithms. Among other issues, this practice promotes overfitting and poor-performing user guidelines. To address this shortcoming, we propose in this work a benchmark suite, OptimSuite, which covers a broad range of black-box optimization problems, ranging from academic benchmarks to real-world applications, from discrete over numerical to mixed-integer problems, from small to very large-scale problems, from noisy over dynamic to static problems, etc. We demonstrate the advantages of such a broad collection by deriving from it Automated Black Box Optimizer (ABBO), a general-purpose algorithm selection wizard. Using three different types of algorithm selection techniques, ABBO achieves competitive performance on all benchmark suites. It significantly outperforms previous state of the art on some of them, including YABBOB and LSGO. ABBO relies on many high-quality base components. Its excellent performance is obtained without any task-specific parametrization. The OptimSuite benchmark collection, the ABBO wizard and its base solvers have all been merged into the open-source Nevergrad platform, where they are available for reproducible research.

研究动机与目标

• 由于选择性的问题实例导致黑盒优化基准测试的泛化性不足。
• 创建一个广泛的、开放的基准套件（OptimSuite），覆盖学术、现实世界、离散、连续、混合整数、带噪声和动态问题。
• 开发一个通用的算法选择工具（ABBO），利用高层次的问题特征在不进行任务特定调优的情况下选择并排序求解器。
• 展示 ABBO 在 OptimSuite 以及像 YABBOB 和 LSGO 这样的现有基准上的竞争力表现。

提出的方法

• 通过将多个基准（例如 YABBOB、LSGO、MuJoCo、Pyomo、MLDA）整合到一个统一的 Nevergrad 兼容的开放平台来构建 OptimSuite。
• 将 ABBO 设计为基于组合的向导，使用被动、主动（bet-and-run）和链式选择策略。
• 使用 ask-tell-recommend 框架，在嘈杂环境中将决策点与推荐分离。
• 提供一个详细的、与任务无关的评估协议，具有广泛的问题属性（维度、变量类型、噪声存在、预算、并行性）。
• 在 OptimSuite 的变体和现有套件上，将 ABBO 与 Shiwa 和 Nevergrad 的基线求解器进行对比评测。
• 在 Nevergrad 仪表板上发布结果和代码，以实现可重复的研究。

实验结果

研究问题

• RQ1 OptimSuite 是否能够为跨越多样化问题设定的黑盒优化提供真正广泛且无偏倚的基准？
• RQ2 在广泛的基准测试中，ABBO 是否在不进行任务特定调优的情况下实现具有竞争力或更优的性能？
• RQ3 ABBO 对其设计或调优中未使用的问题的泛化能力如何？
• RQ4 链式和高级数学规划组件对 ABBO 性能的影响是什么？
• RQ5 在像 YABBOB 和 LSGO 这样的已建立基准上，ABBO 与专用求解器（如 LA-MCTS、Shiwa）相比如何？

主要发现

• ABBO 在广义的 OptimSuite 基准上实现了具有竞争力的性能，并且通常优于以前的最先进方法。
• ABBO 在 YABBOB 和 LSGO 上表现出色，并且由于链式和更强的局部收敛策略而优于 Shiwa。
• OptimSuite 提供开源、可重复的基准测试，具备在 Nevergrad 中的自动重新运行和仪表板。
• 承认出现更新的高维或带噪声的基于带带宽带方法在 ABBO 之上表现更好的情况，表明仍有持续开发潜力。
• 对于真实世界任务（MuJoCo、Pyomo、PowerSystems 等），ABBO 仍然稳健且具有竞争力，显示出良好的泛化能力。
• ABBO 可以在若干基准上超越像 LA-MCTS 这样的任务专用方法，同时在各任务上保持一致的处理。