[论文解读] Automated Algorithm Selection: Survey and Perspectives

Pascal Kerschke, Holger H. Hoos+2 more|arXiv (Cornell University)|Nov 28, 2018

Constraint Satisfaction and Optimization参考文献 48被引用 6

一句话总结

本综述全面概述了自动化算法选择技术，该技术通过实例特征与机器学习，为给定问题实例选择最佳性能算法。综述涵盖离散与连续优化，将算法选择与配置及组合方法关联，并识别出在复杂问题领域中提升性能与可扩展性的关键挑战与未来方向。

ABSTRACT

It has long been observed that for practically any computational problem that has been intensely studied, different instances are best solved using different algorithms. This is particularly pronounced for computationally hard problems, where in most cases, no single algorithm defines the state of the art; instead, there is a set of algorithms with complementary strengths. This performance complementarity can be exploited in various ways, one of which is based on the idea of selecting, from a set of given algorithms, for each problem instance to be solved the one expected to perform best. The task of automatically selecting an algorithm from a given set is known as the per-instance algorithm selection problem and has been intensely studied over the past 15 years, leading to major improvements in the state of the art in solving a growing number of discrete combinatorial problems, including propositional satisfiability and AI planning. Per-instance algorithm selection also shows much promise for boosting performance in solving continuous and mixed discrete/continuous optimisation problems. This survey provides an overview of research in automated algorithm selection, ranging from early and seminal works to recent and promising application areas. Different from earlier work, it covers applications to discrete and continuous problems, and discusses algorithm selection in context with conceptually related approaches, such as algorithm configuration, scheduling or portfolio selection. Since informative and cheaply computable problem instance features provide the basis for effective per-instance algorithm selection systems, we also provide an overview of such features for discrete and continuous problems. Finally, we provide perspectives on future work in the area and discuss a number of open research challenges.

研究动机与目标

• 提供自动化算法选择研究的统一且最新的综述，涵盖从基础工作到最新进展的全貌。
• 厘清算法选择、算法配置、调度与组合方法之间的概念差异，减少文献中的混淆。
• 识别并回顾适用于离散与连续优化问题的、具有信息量且计算成本低廉的问题实例特征。
• 强调机器学习与元学习在实现基于实例的算法选择中的作用，并探讨其与其他优化技术的集成。
• 概述开放挑战与未来研究方向，包括特征工程、可扩展性，以及配置器的元算法选择。

提出的方法

• 系统性地综述了超过15年自动化算法选择研究，涵盖组合优化与连续优化领域中的开创性与近期工作。
• 对相关方法（如算法配置、算法调度与并行组合）进行分类与比较，明确其差异与重叠。
• 回顾问题实例的特征工程技术，包括探索性景观分析与基于监控的特征，以支持有效的算法选择。
• 分析ASLib、ACLib与HPOlib等基准测试平台，以在标准化环境中评估与比较算法选择方法。
• 提出使用元学习与元算法选择，以动态选择适用于特定场景的最佳算法选择策略。
• 通过真实应用场景（如SAT、TSP、QBF、BBOB与UCI数据集）的实证证据，评估特征集与选择模型的有效性。

实验结果

研究问题

• RQ1 如何利用算法间的性能互补性，以提升在多样化问题实例上的求解效率？
• RQ2 在离散与连续优化中，哪些类型的问题实例特征最具信息量且计算效率最高，以指导算法选择？
• RQ3 在性能与可扩展性方面，算法选择技术与算法配置及基于组合的方法相比如何？
• RQ4 现有连续优化基准在多大程度上覆盖了完整的问题实例空间，这对算法选择的泛化能力有何影响？
• RQ5 元算法选择——即选择最佳算法选择策略本身——在动态或数据稀缺环境中，能否提升性能与适应性？

主要发现

• 在NP难问题与连续优化问题中，性能互补性普遍存在，这证明了基于实例的算法选择的必要性。
• 简单且计算成本低廉的特征可在算法选择中实现高性能，如Hoos等人（2018）在QBF求解器选择中的研究所示，表明特征效率是可实现的。
• 现有的连续优化基准（如BBOB与UCI数据集）仅覆盖问题实例空间的有限区域，限制了算法选择模型的泛化能力。
• SATzilla与AutoFolio等算法选择系统显著提升了SAT与TSP问题的最先进性能，展示了其实际影响。
• ASLib、ACLib与HPOlib等基准测试库对于公平比较与可复现性至关重要，但需持续维护与扩展，以纳入多目标与真实世界问题。
• 元算法选择——即使用算法选择来选择最佳选择策略——在处理多样化应用场景方面展现出潜力，尤其在训练数据有限的情况下。