[论文解读] Hybridization of interval methods and evolutionary algorithms for solving difficult optimization problems

Charlie Vanaret|arXiv (Cornell University)|Jan 30, 2020

Numerical Methods and Algorithms参考文献 50被引用 4

一句话总结

本文提出 Charibde，一种混合优化框架，通过协同整合区间分支定界法与进化算法，以解决困难的全局优化问题。通过支持并行执行和双向信息交换（如边界、解和搜索空间区域），该框架加速了收敛速度并提高了可靠性，在收敛速度上相比最先进的区间求解器快达一个数量级，并成功验证了五个原子 Lennard-Jones 聚集体解的全局最优性。

ABSTRACT

Reliable global optimization is dedicated to finding a global minimum in the presence of rounding errors. The only approaches for achieving a numerical proof of global optimality are interval branch and bound methods that interleave branching of the search-space and pruning of the subdomains that cannot contain an optimal solution. It is of the utmost importance: i) to compute sharp enclosures of the objective function and the constraints on a given subdomain; ii) to find a good approximation (an upper bound) of the global minimum. State-of-the-art solvers are generally integrative methods, that is they embed local optimization algorithms to compute a good upper bound of the global minimum over each subspace. In this document, we propose a cooperative framework in which interval methods cooperate with evolutionary algorithms. The latter are stochastic algorithms in which a population of candidate solutions iteratively evolves in the search-space to reach satisfactory solutions. Evolutionary algorithms, endowed with operators that help individuals escape from local minima, are particularly suited for difficult problems on which traditional methods struggle to converge. Within our cooperative solver Charibde, the evolutionary algorithm and the interval-based algorithm run in parallel and exchange bounds, solutions and search-space via message passing. A novel strategy prevents premature convergence toward local minima. A comparison of Charibde with state-of-the-art solvers (GlobSol, IBBA, Ibex) on a benchmark of difficult problems shows that Charibde converges faster by an order of magnitude. New optimality results are provided for five multimodal problems, for which few solutions were available in the literature. Finally, we provide the first numerical proof of optimality for the open Lennard-Jones cluster problem with five atoms.

研究动机与目标

• 解决传统方法因局部极小值和数值不稳定性而难以处理的困难全局优化问题。
• 通过结合区间分析的严格边界与进化算法的全局探索能力，提升全局优化的效率与可靠性。
• 开发一种协作框架，实现在区间求解器与进化求解器之间双向交换信息，以加速收敛并避免早熟收敛。
• 为此前未解决或研究不足的多峰问题提供全局最优性的认证，包括五原子 Lennard-Jones 聚集体问题。

提出的方法

• Charibde 采用协作式架构，使区间分支定界法与进化算法并行运行，通过消息传递交换上下界、可行解和子域信息。
• 进化算法采用几何探索启发式策略和领域缩减算子，以避免不可行或次优区域，并逃离局部极小值。
• 利用区间分析通过区间扩展、泰勒形式以及如 HC4Revise 等约束过滤器计算严格的下界。
• 框架整合基于凸化的技术与自动微分，以收紧边界并提升松弛质量。
• 采用割平面方法，通过在收缩和微分过程中引入语法树中中间节点的信息，增强下界。
• 通过将不相交的子空间分配给从属进程实现并行化，主控进程维护当前最优的上界。

实验结果

研究问题

• RQ1 区间方法与进化算法之间的协作框架是否能显著提升困难全局优化问题的收敛速度？
• RQ2 如何有效同步区间分析与进化算法，以交换边界与搜索空间信息，同时不损害数值可靠性？
• RQ3 在求解多峰问题时，混合方法在多大程度上能降低进化算法早熟收敛的风险？
• RQ4 所提出的框架能否为分子动力学中的开放问题（如五原子 Lennard-Jones 聚集体问题）提供全局最优性的认证？
• RQ5 领域缩减与几何探索启发式策略的整合，如何增强混合求解器中进化组件的性能？

主要发现

• 在一组困难全局优化问题的基准测试中，Charibde 的收敛速度相比最先进的区间求解器（如 GlobSol、IBBA 和 Ibex）快达一个数量级。
• 该框架为五个多峰测试问题提供了新的最优性结果，此前文献中对此类问题的解极少或完全缺失。
• Charibde 成功认证了五原子 Lennard-Jones 聚集体问题的候选解的全局最优性，解决了分子动力学中的一个开放问题。
• 结合基于区间的下界计算与进化算法的全局搜索，显著提升了求解过程的鲁棒性与可靠性。
• 领域缩减与几何探索启发式策略的使用，有效防止进化算法探索不可行或次优区域，从而减少停滞现象。
• 该框架证明了将基于凸化松弛与中间节点约束相结合的有效性，在测试案例中将下界质量提升了最高达 33%。