[论文解读] Algorithm Selection for Combinatorial Search Problems: A Survey

Lars Kotthoff|arXiv (Cornell University)|Oct 30, 2012

Algorithms and Data Compression参考文献 123被引用 9

一句话总结

本综述全面概述了组合搜索问题的算法选择，通过基于关键系统设计标准的分类，统一了现有方法。结果表明，利用机器学习基于问题特征预测组合中表现最佳的算法，可显著提升各类组合搜索问题的性能。

ABSTRACT

The Algorithm Selection Problem is concerned with selecting the best algorithm to solve a given problem on a case-by-case basis. It has become especially relevant in the last decade, as researchers are increasingly investigating how to identify the most suitable existing algorithm for solving a problem instead of developing new algorithms. This survey presents an overview of this work focusing on the contributions made in the area of combinatorial search problems, where Algorithm Selection techniques have achieved significant performance improvements. We unify and organise the vast literature according to criteria that determine Algorithm Selection systems in practice. The comprehensive classification of approaches identifies and analyses the different directions from which Algorithm Selection has been approached. This paper contrasts and compares different methods for solving the problem as well as ways of using these solutions. It closes by identifying directions of current and future research.

研究动机与目标

• 解决在组合搜索中为单个问题实例选择最高效算法的挑战，因为在所有情况下均无单一算法占优。
• 通过识别定义实际系统的内在设计标准，统一并组织算法选择领域中庞大而多样的文献。
• 评估并比较算法选择系统在实际应用中不同建模、学习和部署策略的性能。
• 识别该领域中的开放研究挑战和未来方向，特别是泛化能力、可扩展性以及模型可解释性方面。

提出的方法

• 根据四个关键标准对算法选择系统进行分类：选择策略（组合式 vs. 单一算法）、时机（离线 vs. 在线）、性能建模方式（整体组合或单个算法）、特征使用方式（问题、算法或运行时特征）。
• 采用机器学习训练性能模型，基于提取的特征预测给定问题实例的最佳算法。
• 使用特征选择技术识别与算法性能相关度最高的问题特征。
• 同时支持静态组合（预定义的算法集合）和动态组合（在选择时组合算法构建块）。
• 实现在线选择策略，监控执行过程中的性能，并触发重新选择、重启或资源重新分配。
• 应用分层或多阶段预测模型，通过连续预测逐步优化算法选择决策。

实验结果

研究问题

• RQ1 如何基于其核心设计决策对算法选择系统进行系统性分类？
• RQ2 问题特征在提升算法选择模型的泛化能力和准确性方面发挥什么作用？
• RQ3 基于机器学习的性能模型在多大程度上优于手工编写的规则或更简单的统计方法？
• RQ4 在未见问题实例上的适应性和性能方面，在线与离线选择策略有何差异？
• RQ5 在大规模组合算法集合和多样化组合搜索问题中，算法选择面临哪些关键可扩展性挑战？

主要发现

• 基于问题特征学习的性能模型进行算法选择，可在多样化组合搜索问题中显著提升性能，优于使用任何单一算法。
• 在求解前或求解过程中提取问题特征的系统，即使在有限数据上进行训练，也能很好地泛化到新实例。
• 监控执行期间性能并动态调整的在线选择策略，通常优于静态离线选择，尤其在动态或不可预测环境中表现更优。
• 基于组合的策略——特别是使用多样化且互补的算法——始终能实现比单个算法选择更好的整体性能。
• 尽管理论上的算法选择问题是不可判定的，但通过有效的特征工程和机器学习，实际系统可实现接近最优的性能。
• 更简单、计算成本更低的模型（如岭回归）通常与更复杂的模型表现相当，因此在预测性能提升不足以覆盖计算开销时，其使用具有合理性。