[论文解读] Hybrid Evolutionary Computation for Continuous Optimization

Hassan A. Bashir, R.S. Neville|arXiv (Cornell University)|Mar 14, 2013

Metaheuristic Optimization Algorithms Research参考文献 17被引用 10

一句话总结

本文提出了一种混合进化计算框架，将实数编码遗传算法与序列二次规划（SQP）相结合，用于连续全局优化。通过采用自适应精英策略、基于Price方程的新型收敛检测机制，以及改进的SQP步长和搜索方向评估方法，该系统增强了探索与开发之间的平衡，在基准问题上实现了显著的收敛加速和解质量提升。

ABSTRACT

Hybrid optimization algorithms have gained popularity as it has become apparent there cannot be a universal optimization strategy which is globally more beneficial than any other. Despite their popularity, hybridization frameworks require more detailed categorization regarding: the nature of the problem domain, the constituent algorithms, the coupling schema and the intended area of application. This report proposes a hybrid algorithm for solving small to large-scale continuous global optimization problems. It comprises evolutionary computation (EC) algorithms and a sequential quadratic programming (SQP) algorithm; combined in a collaborative portfolio. The SQP is a gradient based local search method. To optimize the individual contributions of the EC and SQP algorithms for the overall success of the proposed hybrid system, improvements were made in key features of these algorithms. The report proposes enhancements in: i) the evolutionary algorithm, ii) a new convergence detection mechanism was proposed; and iii) in the methods for evaluating the search directions and step sizes for the SQP local search algorithm. The proposed hybrid design aim was to ensure that the two algorithms complement each other by exploring and exploiting the problem search space. Preliminary results justify that an adept hybridization of evolutionary algorithms with a suitable local search method, could yield a robust and efficient means of solving wide range of global optimization problems. Finally, a discussion of the outcomes of the initial investigation and a review of the associated challenges and inherent limitations of the proposed method is presented to complete the investigation. The report highlights extensive research, particularly, some potential case studies and application areas.

研究动机与目标

• 为解决独立进化算法在连续优化中探索与开发平衡方面的局限性。
• 开发一种混合框架，协同结合全局搜索（EC）与局部搜索（SQP），以提升收敛速度与解质量。
• 提出一种基于Price方程的新型收敛检测机制，以动态评估进化进程。
• 通过改进的搜索方向与步长评估技术，提升SQP性能。
• 在标准基准问题上验证混合系统，并评估其可扩展性与鲁棒性。

提出的方法

• 混合系统采用协作组合方法，其中进化算法（EA）与SQP根据任务切换机制交替运行。
• 采用改进的实数编码遗传算法并结合自适应精英策略，以维持多样性并引导全局搜索。
• 从Price方程的扩展形式中推导出一种新的收敛检测参数，用于监控遗传算子（尤其是交叉算子）的贡献。
• 通过自动微分实现精确的梯度计算，并采用改进的线搜索策略，以优化步长与搜索方向的选择。
• 在每次SQP运行结束时，执行验证程序，利用最优解及其逆解来生成新的EA种群，以促进多样性并提升收敛性能。
• 系统动态在EA与SQP阶段之间切换，实现全局探索与局部开发的平衡。

实验结果

研究问题

• RQ1 混合EC/SQP系统在求解连续全局优化问题时，是否能优于独立的EC或SQP？
• RQ2 基于Price方程的新型收敛检测机制在识别进化进程停滞方面是否有效？
• RQ3 所提出的验证程序（利用最优解及其逆解进行种群初始化）对收敛速度与解质量有何影响？
• RQ4 SQP中搜索方向与步长评估的改进如何影响整体优化性能？
• RQ5 该混合系统在多种基准问题上能否保持足够的鲁棒性与可扩展性？

主要发现

• 与独立的EC和SQP相比，混合EC/SQP系统在标准基准问题上显著提升了收敛速度与解质量。
• 基于扩展Price方程的新型收敛检测机制，能够有效识别停滞点，并指导全局与局部搜索阶段的切换。
• 验证程序通过使用最优解及其逆解来初始化新种群，显著加快了收敛速度，并改善了多样性保持。
• 采用自动微分改进的SQP实现，获得了更精确的梯度评估，从而提升了局部搜索效率。
• 混合系统在小规模至大规模问题上均表现出良好的可扩展性，并在多种测试用例中保持了稳健性能。
• 初步结果证实，通过所提改进手段实现的EC与SQP之间的协同效应，显著提升了优化框架的整体效率与可靠性。