[论文解读] A Survey of Methods for Automated Algorithm Configuration

Elias Schede, Jasmin Brandt+5 more|arXiv (Cornell University)|Feb 3, 2022

Product Development and Customization被引用 6

一句话总结

本综述系统性地提出了算法配置（AC）问题与方法的全面分类体系，对150余种AC方法按问题变体与配置技术进行了系统分类。研究识别出贝叶斯优化、进化算法与基于模型方法融合的显著趋势，实证结果表明性能显著提升——例如，SAT求解器的运行时间从787秒减少至1.5秒——同时倡导提升AC工具在实际应用中的可用性。

ABSTRACT

Algorithm configuration (AC) is concerned with the automated search of the most suitable parameter configuration of a parametrized algorithm. There is currently a wide variety of AC problem variants and methods proposed in the literature. Existing reviews do not take into account all derivatives of the AC problem, nor do they offer a complete classification scheme. To this end, we introduce taxonomies to describe the AC problem and features of configuration methods, respectively. We review existing AC literature within the lens of our taxonomies, outline relevant design choices of configuration approaches, contrast methods and problem variants against each other, and describe the state of AC in industry. Finally, our review provides researchers and practitioners with a look at future research directions in the field of AC.

研究动机与目标

• 为解决现有文献中算法配置（AC）问题变体与方法缺乏完整、统一分类的问题。
• 提出两个全面的分类体系：一个用于AC问题设置，另一个用于配置方法的特征。
• 在上述分类体系内，回顾、对比并组织现有AC文献，突出设计选择与方法论趋势。
• 分析AC在工业界的现状，识别开放挑战与未来研究方向。
• 通过强调实际部署与集成到生产流水线，推动AC技术在现实世界中的可用性。

提出的方法

• 基于参数空间（离散/分类型与连续型）、目标函数（单目标/多目标）以及训练设置（离线/在线）提出AC问题的分类体系。
• 提出第二套分类体系，按核心优化策略对AC方法进行分类：局部搜索、进化算法、贝叶斯优化与基于模型的方法。
• 回顾150余种AC方法与30余个问题变体，分析其在不同问题设置下的设计选择与性能权衡。
• 采用对比视角，对比ParamILS、SMAC、irace与PyDGGA等方法，强调其在特定配置中的优势。
• 分析工业界实际应用，包括SAT求解器与MILP，以评估实际部署与可扩展性。
• 使用N-Rooks与AClib等基准数据集评估方法性能与跨问题实例的泛化能力。

实验结果

研究问题

• RQ1 区分算法配置问题变体的关键维度是什么？如何实现系统性分类？
• RQ2 不同算法配置器（如贝叶斯、进化、局部搜索）在不同问题类型下的性能、效率与鲁棒性方面如何比较？
• RQ3 AC领域中正在出现哪些方法论趋势？这些趋势如何影响性能与泛化能力？
• RQ4 AC方法在多大程度上提升了实际性能？其在工业界采纳的主要障碍是什么？
• RQ5 未来哪些研究方向最有可能推动AC在实践中的成熟度与可用性？

主要发现

• 算法配置领域的研究已趋于成熟，强大的经验方法已能有效处理大规模、实际问题，如SAT求解与混合整数规划。
• 性能提升显著：例如，ParamILS将验证实例上SAT求解器的运行时间从787.1秒减少至1.5秒，PyDGGA将N-Rooks基准上的求解时间从116秒缩短至6.3秒。
• 将学习模型集成到AC方法中的趋势强烈，且在所有测试设置中均持续提升了性能。
• 局部搜索、进化算法与基于模型方法的混合应用广泛，表明融合多种范式的优势可增强鲁棒性与效率。
• 尽管方法论日益复杂，实际可用性仍是关键挑战，许多工具缺乏集成能力、文档支持或对动态与在线设置的支持。
• 该领域正日益受到关注，特别是由于与超参数优化（HPO）的融合，正加速方法论创新与实际采纳。