[论文解读] Extremal Optimization: Methods derived from Co-Evolution

Stefan Boettcher, Allon G. Percus|ArXiv.org|Apr 13, 1999

VLSI and FPGA Design Techniques参考文献 10被引用 143

一句话总结

本文提出极端优化（Extremal Optimization, EO），一种新颖的启发式算法，通过迭代替换单一解中表现最差的组件来求解困难的优化问题，其灵感源自Bak-Sneppen协同进化模型。与遗传算法或模拟退火不同，EO采用非平衡、基于排名的选择过程，在图划分和旅行商问题上表现优于或匹配现有最先进方法，且参数调节极少。

ABSTRACT

We describe a general-purpose method for finding high-quality solutions to hard optimization problems, inspired by self-organized critical models of co-evolution such as the Bak-Sneppen model. The method, called Extremal Optimization, successively eliminates extremely undesirable components of sub-optimal solutions, rather than ``breeding'' better components. In contrast to Genetic Algorithms which operate on an entire ``gene-pool'' of possible solutions, Extremal Optimization improves on a single candidate solution by treating each of its components as species co-evolving according to Darwinian principles. Unlike Simulated Annealing, its non-equilibrium approach effects an algorithm requiring few parameters to tune. With only one adjustable parameter, its performance proves competitive with, and often superior to, more elaborate stochastic optimization procedures. We demonstrate it here on two classic hard optimization problems: graph partitioning and the traveling salesman problem.

研究动机与目标

• 开发一种受自组织临界性和协同进化动力学启发的通用优化方法。
• 解决寻找图划分和旅行商问题等困难组合优化问题高质量解的挑战。
• 设计一种参数极少且避免平衡假设的方法，与模拟退火不同。
• 探讨极端动力学是否可作为复杂系统中自适应过程（包括学习）的模型。

提出的方法

• EO在单一候选解上运行，而非种群，将每个组件视为协同进化系统中的一个物种。
• 在每一步中，将表现最差的组件（即适应度最低的排名）替换为一个新的随机值，模拟对最不适者的选择淘汰。
• 适应度基于组件对目标函数的贡献进行评估，替换过程受幂律排名分布 P(n) ∼ n^−τ 指导。
• 对于TSP，EO根据适应度排名选择最差的城市，并使用相同的基于排名的选择方式将其重新连接到更优的邻居，从而保持巡回的有效性。
• 该方法采用非平衡动力学，保留优良组件的同时通过选择性替换实现探索。
• 关键参数 τ 通过经验调优：欧几里得TSP中 τ = 4，非欧几里得TSP中 τ = 4.4。

实验结果

研究问题

• RQ1 受协同进化启发的非平衡、极端选择过程是否能在困难组合优化问题上优于传统随机优化方法？
• RQ2 EO在图划分和TSP问题上的性能与模拟退火和精确算法相比如何？
• RQ3 EO中的基于排名的选择机制是否在保持优良解组件的同时提供了足够的探索能力？
• RQ4 为何EO在随机距离TSP问题上优于模拟退火，而更长的退火时间反而使SA性能下降？
• RQ5 极端动力学能否作为复杂系统中自适应过程（如学习）的模型？

主要发现

• 在图划分问题中，EO实现了最优或近似最优的切割大小，稀疏图中 m_opt = 1（α ≈ 4），较密图中 m_opt = 13（α ≈ 8）。
• 在欧几里得TSP中，EO的最佳巡回长度在 N ≤ 256 时与精确解相差不足1%，且平均性能匹配或略优于模拟退火。
• 在非欧几里得（随机距离）TSP中，EO显著优于模拟退火，尤其在较大 N 时，SA性能随运行时间延长而下降。
• EO在多个问题实例上表现稳健，十次运行中的最佳结果始终优于或匹配模拟退火。
• 该方法仅需一个可调参数（τ），相比更复杂的算法展现出更高的效率和更低的调参开销。
• EO的成功表明，极端动力学可作为自然界和认知系统中自适应、自组织过程（如神经系统的学习）的模型。