[论文解读] Automated Design of Metaheuristic Algorithms: A Survey

Qi Zhao, Qiqi Duan+3 more|arXiv (Cornell University)|Mar 12, 2023

Metaheuristic Optimization Algorithms Research被引用 7

一句话总结

本综述提出了一种自动元启发式算法设计的全面分类法，将该过程形式化为四个组成部分：设计空间、设计策略、性能评估和目标问题。它回顾了遗传编程、强化学习和代理建模等关键技术，并指出了在实现高性能、可定制化元启发式算法且最大限度减少人工干预方面的挑战与未来方向。

ABSTRACT

Metaheuristics have gained great success in academia and practice because their search logic can be applied to any problem with available solution representation, solution quality evaluation, and certain notions of locality. Manually designing metaheuristic algorithms for solving a target problem is criticized for being laborious, error-prone, and requiring intensive specialized knowledge. This gives rise to increasing interest in automated design of metaheuristic algorithms. With computing power to fully explore potential design choices, the automated design could reach and even surpass human-level design and could make high-performance algorithms accessible to a much wider range of researchers and practitioners. This paper presents a broad picture of automated design of metaheuristic algorithms, by conducting a survey on the common grounds and representative techniques in terms of design space, design strategies, performance evaluation strategies, and target problems in this field.

研究动机与目标

• 为解决人工元启发式设计的局限性，包括耗时、易出错且需要专家知识。
• 探索自动化设计如何利用计算能力超越或匹配人类水平的算法创造能力。
• 通过形式化其核心组件——设计空间、策略、评估和目标问题——提供一个统一的框架，以理解自动元启发式设计。
• 将自动化设计与算法选择和配置等相关领域区分开来，明确其概念边界。
• 识别研究空白与未来方向，包括现实世界应用，以及与自动化机器学习和元学习的整合。

提出的方法

• 提出一个正式的四部分分类法：设计空间（算法组件、结构、参数）、设计策略（如遗传编程、强化学习）、性能评估（指标、代理模型）和目标问题。
• 回顾代表性技术，如利用遗传编程演化算法结构，以及利用强化学习进行基于策略的设计。
• 引入基于代理的性能估计方法，通过使用低保真度模型预测算法性能，以降低计算成本。
• 强调使用二值过滤条件来解决在多个基准测试中进行算法比较时的“循环排名”悖论。
• 讨论多保真度评估与模型学习的整合，以加速设计过程并提升泛化能力。
• 提出端到端的代理模型，其与问题特征无关，且兼容多种性能指标。

实验结果

研究问题

• RQ1 自动元启发式算法设计的关键组件和正式结构是什么？
• RQ2 不同的设计策略（如遗传编程和强化学习）如何促进算法的生成？
• RQ3 在昂贵问题中，最有效的性能评估策略是什么，尤其是如何降低计算成本？
• RQ4 如何有效设计代理模型，以在多样化的问题实例上可靠地估计算法性能？
• RQ5 在具有约束条件和大规模搜索空间的真实问题中，自动化设计的可扩展性面临哪些关键挑战？

主要发现

• 通过充分利用现代计算资源全面探索设计空间，自动化设计能够超越人类水平的性能表现。
• 基于代理的性能估计显著降低了评估成本，同时通过二值过滤条件保持了可靠的算法排名。
• 自动化设计与自动化机器学习及元学习的整合，推动了跨领域创新，例如利用元启发式算法自动化机器学习流水线的生成。
• 当前研究大多局限于TSP、JSSP和SAT等数值基准测试，凸显了向更广泛现实世界应用拓展的迫切需求。
• 第二种自动化算法配置形式——即组件组合与超参数调优的结合——属于自动化设计范畴，模糊了与传统配置之间的界限。
• 在设计能够处理多样化算法结构并可靠估计性能排名（而非原始指标值）的精确代理模型方面，仍存在挑战。