[论文解读] Bilevel Optimization based on Iterative Approximation of Multiple Mappings

Ankur Sinha, Zhichao Lu+2 more|arXiv (Cornell University)|Feb 11, 2017

Optimization and Variational Analysis被引用 9

一句话总结

该论文提出BLEAQ-II，一种通过迭代近似下层理性反应（Ψ-映射）和最优值（φ-映射）函数来降低计算成本的进化双层优化算法。通过自适应地使用这些近似替代嵌套求值，该方法在基准问题上相比传统嵌套方法将函数求值次数减少了高达97%，显著提升了效率。

ABSTRACT

A large number of application problems involve two levels of optimization, where one optimization task is nested inside the other. These problems are known as bilevel optimization problems and have been studied by both classical optimization community and evolutionary optimization community. Most of the solution procedures proposed until now are either computationally very expensive or applicable to only small classes of bilevel optimization problems adhering to mathematically simplifying assumptions. In this paper, we propose an evolutionary optimization method that tries to reduce the computational expense by iteratively approximating two important mappings in bilevel optimization; namely, the lower level rational reaction mapping and the lower level optimal value function mapping. The algorithm has been tested on a large number of test problems and comparisons have been performed with other algorithms. The results show the performance gain to be quite significant. To the best knowledge of the authors, a combined theory-based and population-based solution procedure utilizing mappings has not been suggested yet for bilevel problems.

研究动机与目标

• 为解决使用传统嵌套进化算法求解双层优化问题时计算成本过高的问题。
• 通过利用数学优化中的理论映射，开发一种计算高效的替代方法。
• 通过近似下层反应函数和值函数，减少对昂贵嵌套求值的依赖。
• 在优化过程中根据问题特征自适应地选择使用Ψ或φ映射近似。
• 在包含扩展SMD问题的综合性测试套件上评估性能，以证明其可扩展性和效率。

提出的方法

• 该算法近似下层理性反应映射（Ψ-映射），即上层决策映射到对应下层最优解的函数。
• 同时近似下层最优值函数映射（φ-映射），即上层决策映射到下层问题最优目标值的函数。
• 采用基于种群的进化框架，利用局部化代理模型技术迭代优化Ψ和φ映射。
• 根据当前双层问题的难度和结构，自适应地在使用Ψ或φ近似之间进行选择。
• 通过用训练好的映射预测替代重复的下层求解，最小化函数求值次数。
• 在SMD问题的基准测试套件上验证该方法，包括扩展版本以测试可扩展性。

实验结果

研究问题

• RQ1 对Ψ和φ映射进行迭代近似是否能显著降低双层优化的计算负担？
• RQ2 在不同类型的双层问题中，自适应选择Ψ或φ近似如何提升性能？
• RQ3 基于映射的近似在函数求值方面相比传统嵌套进化算法能多大程度上实现性能超越？
• RQ4 所提出的近似方法在问题维度和复杂性增加时的可扩展性如何？
• RQ5 映射近似质量对收敛性和解的准确性有何影响？

主要发现

• 在高维SMD问题上，BLEAQ-II相比嵌套方法将函数求值次数最多减少了97%。
• 在SMD1上，BLEAQ-II将上层函数求值次数减少至670次，而嵌套方法为1,776,426次。
• 在SMD4上，BLEAQ-II相比嵌套方法节省了96%的函数求值次数。
• 在SMD6上，嵌套方法需要超过150万次函数求值，而BLEAQ-II仅使用了3,950次，实现了99%的减少。
• 在大多数测试问题上，该算法在计算效率方面优于BLEAQ和嵌套方法，取得了显著提升。
• 自适应使用Ψ或φ近似被证明是有效的，其中φ-映射在SMD1上更准确，而Ψ-映射在SMD13等复杂φ-映射中表现更优。