[论文解读] Automated Dynamic Algorithm Configuration

Steven Adriænsen, André Biedenkapp+5 more|arXiv (Cornell University)|May 27, 2022

Metaheuristic Optimization Algorithms Research被引用 4

一句话总结

本文提出自动化动态算法配置（DAC），一种新颖的框架，利用数据驱动、基于强化学习的方法，在算法执行过程中自动学习动态参数自适应策略。该方法在进化优化、人工智能规划和机器学习领域显著优于静态配置，确立了DAC作为自适应高性能算法的基础方法。

ABSTRACT

The performance of an algorithm often critically depends on its parameter configuration. While a variety of automated algorithm configuration methods have been proposed to relieve users from the tedious and error-prone task of manually tuning parameters, there is still a lot of untapped potential as the learned configuration is static, i.e., parameter settings remain fixed throughout the run. However, it has been shown that some algorithm parameters are best adjusted dynamically during execution, e.g., to adapt to the current part of the optimization landscape. Thus far, this is most commonly achieved through hand-crafted heuristics. A promising recent alternative is to automatically learn such dynamic parameter adaptation policies from data. In this article, we give the first comprehensive account of this new field of automated dynamic algorithm configuration (DAC), present a series of recent advances, and provide a solid foundation for future research in this field. Specifically, we (i) situate DAC in the broader historical context of AI research; (ii) formalize DAC as a computational problem; (iii) identify the methods used in prior-art to tackle this problem; (iv) conduct empirical case studies for using DAC in evolutionary optimization, AI planning, and machine learning.

研究动机与目标

• 将自动化动态算法配置（DAC）形式化为一种新的元算法框架，从数据中学习动态参数策略。
• 解决静态算法配置的局限性，即固定参数设置无法在执行过程中适应变化的问题环境。
• 克服对人工、基于启发式的动态参数调优的依赖，实现自动化、数据驱动的策略学习。
• 为DAC提供全面的基础，包括形式化的问题定义、方法论综述以及在多样化领域中的实证验证。
• 识别关键研究挑战与未来方向，如在线学习、热启动以及专家参与的DAC

提出的方法

• 将DAC形式化为上下文强化学习问题，使策略能够根据算法执行期间的实时状态观测动态调整参数。
• 应用深度强化学习智能体，学习在问题实例分布上最大化性能的动态配置策略。
• 使用统一的基准框架（DACBench）在多个领域评估DAC方法，包括进化计算、人工智能规划和机器学习。
• 通过定义与各应用相关的参数边界、性能指标和实例分布，将领域特定知识整合到配置空间中。
• 通过利用现有启发式或学习到的策略作为初始化，实现策略迁移和热启动，以支持自动化DAC。
• 设计模块化、可扩展的软件堆栈，以支持DAC方法的比较与扩展，包括标准化的评估协议

实验结果

研究问题

• RQ1 如何将动态算法配置正式定义为一种可被自动化、数据驱动学习方法解决的计算问题？
• RQ2 在现实世界的人工智能应用中，自动化DAC在多大程度上能优于静态配置和人工设计的动态启发式方法？
• RQ3 在学习有效动态配置策略方面，存在哪些关键方法论挑战，如何利用现代机器学习技术加以解决？
• RQ4 如何将领域专家整合到DAC过程中，以指导配置空间设计、性能指标和策略先验？
• RQ5 在线持续学习在部署期间基于测试实例的实时反馈，如何在优化DAC策略方面发挥作用？

主要发现

• 使用上下文强化学习的自动化DAC在进化优化中，特别是在CMA-ES中的步长自适应方面，能够优于静态配置和人工设计的动态启发式方法。
• 在进化优化、人工智能规划和机器学习中的实证案例研究表明，通过DAC学习到的动态策略始终优于静态或手工设计的替代方案。
• 所提出的DAC框架能够自动发现复杂、上下文相关的参数自适应策略，这些策略难以通过人工工程实现。
• 使用现有启发式策略对DAC进行热启动可显著加速收敛并提升最终策略质量，表明其在实际部署中具有强大潜力。
• 缺乏标准化基准和评估协议阻碍了方法比较；本文倡导采用DACBench和共享的DAC方法库，以支持可复现的研究。
• 未来方向如在线DAC、专家参与的配置以及部分重新配置，显示出进一步提升DAC适应性和可用性的巨大潜力。