[论文解读] Efficient Evolutionary Algorithm for Single-Objective Bilevel Optimization

Ankur Sinha, Pekka Malo+1 more|arXiv (Cornell University)|Mar 15, 2013

Optimization and Variational Analysis参考文献 48被引用 70

一句话总结

本文提出BLEAQ，一种新颖的双层进化算法，通过利用下层最优解对上层变量的二次近似，大幅减少函数求值次数。通过将经典优化思想融入进化框架，BLEAQ在效率上实现显著提升——在基准测试问题上，相比嵌套进化方法，下层函数求值次数最高减少10.88倍。

ABSTRACT

Bilevel optimization problems are a class of challenging optimization problems, which contain two levels of optimization tasks. In these problems, the optimal solutions to the lower level problem become possible feasible candidates to the upper level problem. Such a requirement makes the optimization problem difficult to solve, and has kept the researchers busy towards devising methodologies, which can efficiently handle the problem. Despite the efforts, there hardly exists any effective methodology, which is capable of handling a complex bilevel problem. In this paper, we introduce bilevel evolutionary algorithm based on quadratic approximations (BLEAQ) of optimal lower level variables with respect to the upper level variables. The approach is capable of handling bilevel problems with different kinds of complexities in relatively smaller number of function evaluations. Ideas from classical optimization have been hybridized with evolutionary methods to generate an efficient optimization algorithm for generic bilevel problems. The efficacy of the algorithm has been shown on two sets of test problems. The first set is a recently proposed SMD test set, which contains problems with controllable complexities, and the second set contains standard test problems collected from the literature. The proposed method has been evaluated against two benchmarks, and the performance gain is observed to be significant.

研究动机与目标

• 解决使用传统进化算法求解复杂双层优化问题时计算成本过高的问题。
• 克服经典方法在非凸、非线性或不可微双层问题上的局限性。
• 开发一种混合方法，结合进化搜索与解析近似，以加速收敛。
• 为具有可控复杂度和实际应用价值的双层问题提供高效且可扩展的解决方案。
• 在双层最优解处准确近似上层变量到下层最优解的映射关系。

提出的方法

• 利用采样数据点，构建下层最优解对上层变量的二次近似函数。
• 利用该近似在每次迭代中预测下层最优解，而无需从头求解下层问题。
• 将二次近似集成到进化算法框架中，以指导上层空间的搜索。
• 通过来自有前景上层解的新采样点，迭代更新二次模型。
• 通过依赖代理模型限制下层函数求值次数，减少对昂贵精确求解的依赖。
• 通过平衡探索（进化搜索）与开发（二次模型预测），确保收敛性。

实验结果

研究问题

• RQ1 对下层最优解映射关系进行二次近似，是否能显著减少双层优化中的下层函数求值次数？
• RQ2 与嵌套进化策略及WJL和WLD等成熟基准方法相比，BLEAQ在效率和准确性方面表现如何？
• RQ3 经典近似与进化计算相结合的混合方法，在处理复杂非凸双层问题方面具有多大潜力？
• RQ4 二次近似模型是否能准确捕捉双层最优解附近的真实最优映射？
• RQ5 所提出方法在具有可控复杂度的高维双层问题中是否具备有效可扩展性？

主要发现

• 在测试问题TP1上，BLEAQ将下层函数求值的平均次数相比嵌套进化方法最高减少了10.88倍。
• 在包含10个变量的SMD测试集上，BLEAQ以显著更少的函数求值次数实现收敛，展现出良好的可扩展性。
• 对于测试问题TP7，BLEAQ平均仅需272,971次下层函数求值，而WJL方法需1,074,742次，实现3.94倍的性能提升。
• 在TP10上，下层求值次数与调用次数的中位比值为69.08，表明模型有效减少了冗余的下层求解。
• 该算法在上层和下层解的质量方面均保持高精度，大多数问题的上层精度中位数低于0.0001。
• 二次近似模型通过准确预测下层最优解，实现了快速收敛，显著减少了重复精确求解的需求。