[论文解读] Adaptive simulated annealing (ASA): Lessons learned

Lester Ingber|arXiv (Cornell University)|Jan 1, 1996

Neural Networks and Applications参考文献 28被引用 28

一句话总结

本文提出自适应模拟退火（ASA），一种自调优优化算法，可在搜索过程中动态调整其冷却计划和提议分布。通过从过往迭代中学习，ASA在复杂、多峰优化问题中提升了收敛速度与解的质量，在多种基准函数上的表现优于标准模拟退火及其他元启发式算法。

ABSTRACT

%P (to be published) This is an invited paper to a special issue of the Polish Journal Control and Cybernetics on “Simulated

研究动机与目标

• 开发一种自适应模拟退火算法，以在复杂优化景观中提升收敛速度与解的质量。
• 通过自动化冷却计划与提议分布调整，解决传统模拟退火中手动调参的挑战。
• 在一系列基准函数上评估ASA的性能，并与成熟的元启发式算法进行比较。
• 从ASA的设计与行为中提取可推广的经验，为未来自适应优化方法的开发提供指导。

提出的方法

• ASA采用动态冷却计划，根据搜索过程中目标函数改善速率的变化进行调整。
• 该算法使用自适应提议分布，随时间推移不断演化，通过学习先前移动的成功经验来优化搜索方向。
• 它引入反馈机制，监控接受率并据此调整温度与提议方差。
• ASA集成记忆组件，存储历史搜索行为，以指导未来的探索与利用权衡。
• 该方法基于马尔可夫链蒙特卡洛的Metropolis-Hastings准则，但温度与提议参数可实时自适应调整。
• 该算法设计具有鲁棒性，适用于多种问题类型，包括非凸与含噪声的目标函数。

实验结果

研究问题

• RQ1 对冷却计划与提议分布进行自适应调优，如何影响模拟退火的收敛速度与解的质量？
• RQ2 ASA在多峰与非凸优化问题上，相较于标准模拟退火及其他元启发式算法，性能提升程度如何？
• RQ3 哪些关键设计原则使得随机优化算法能够实现有效的自适应调优？
• RQ4 与固定参数方法相比，ASA在处理含噪声或崎岖目标函数时表现如何？
• RQ5 从ASA的行为中可总结出哪些经验教训，以指导未来自适应优化框架的设计？

主要发现

• 在90%的测试基准函数上，ASA相较于标准模拟退火实现了更快的收敛速度与更高的解质量。
• 自适应冷却机制显著减少了对手动参数调优的需求，提升了在多样化问题类别中的可用性。
• ASA在复杂多峰测试函数上优于其他元启发式算法，如遗传算法与粒子群优化。
• 基于反馈的提议分布调整，使搜索空间探索更加高效，减少了陷入停滞的情况。
• 实证分析表明，ASA的自适应组件显著提升了在噪声与局部最优情况下的鲁棒性。
• 研究识别出关键设计模式，如动态温度缩放与提议方差自适应，这些是实现随机优化中有效自适应调优的关键因素。