[论文解读] A Review on Bilevel Optimization: From Classical to Evolutionary Approaches and Applications

Ankur Sinha, Pekka Malo+1 more|arXiv (Cornell University)|May 17, 2017

Optimization and Variational Analysis参考文献 175被引用 8

一句话总结

本文全面综述了双层优化，涵盖经典方法与进化计算方法，重点聚焦于求解策略、结构映射，以及在经济学、物流和公共政策中的应用。文章强调了非凸性与NP难问题的挑战，主张采用进化算法处理复杂实例，并指出了多目标与不确定双层问题中的关键研究空白。

ABSTRACT

Bilevel optimization is defined as a mathematical program, where an optimization problem contains another optimization problem as a constraint. These problems have received significant attention from the mathematical programming community. Only limited work exists on bilevel problems using evolutionary computation techniques; however, recently there has been an increasing interest due to the proliferation of practical applications and the potential of evolutionary algorithms in tackling these problems. This paper provides a comprehensive review on bilevel optimization from the basic principles to solution strategies; both classical and evolutionary. A number of potential application problems are also discussed. To offer the readers insights on the prominent developments in the field of bilevel optimization, we have performed an automated text-analysis of an extended list of papers published on bilevel optimization to date. This paper should motivate evolutionary computation researchers to pay more attention to this practical yet challenging area.

研究动机与目标

• 提供双层优化的系统性综述，涵盖经典数学规划与现代进化计算技术。
• 识别并分析双层问题的结构特性，特别是反应集映射与最优值函数映射，以简化求解过程。
• 突出经典方法在处理非凸、非线性和离散双层问题时的局限性，从而推动进化算法的应用。
• 探索尚未充分发展的研究领域，如多目标双层优化与偏好或变量不确定性下的双层问题。
• 通过识别进化双层优化中的开放挑战与机遇，激发进一步研究，尤其针对大规模与实际应用场景。

提出的方法

• 提出通过近似反应集映射与最优下层值函数映射，将双层问题转化为单层等价形式。
• 综述经典求解方法，如KKT重构、分支定界法与参数规划，用于双层问题。
• 探讨进化算法（EAs）作为求解双层问题的可行替代方案，因其能够处理非凸性、非线性与离散变量。
• 讨论代理模型技术，包括跳过下层问题与使用辅助模型进行局部近似。
• 引入使用Apache Spark等分布式计算平台，以扩展进化双层算法的规模，适用于大规模问题。
• 分析决策变量与偏好中不确定性的整合，提出鲁棒双层优化的初步框架。

实验结果

研究问题

• RQ1 如何通过反应集与最优值函数等结构映射，将双层优化问题进行重构？
• RQ2 经典双层优化方法在计算与理论上的局限性是什么，特别是在非凸与NP难情形下？
• RQ3 进化算法在应对双层问题中非线性、非凸性与离散决策变量挑战方面，有哪些有效方式？
• RQ4 多目标双层优化与偏好或变量不确定性下的双层问题中，关键的研究空白是什么？
• RQ5 现代分布式计算平台（如Apache Spark）如何提升进化双层优化算法的可扩展性？

主要发现

• 双层优化问题为强NP难问题，甚至验证解的最优性也是NP难的，这限制了经典方法的应用。
• 经典方法如KKT重构与分支定界法仅对特定类别的双层问题有效，特别是线性或凸实例。
• 进化算法在求解复杂双层问题方面展现出潜力，因其具备全局搜索能力，并对非光滑或非凸解空间具有鲁棒性。
• 通过近似反应集或值函数映射，可将双层问题转化为单层问题，显著简化求解过程。
• 多目标双层优化仍研究不足，尤其在双层决策者交互机制与不确定性偏好方面。
• 分布式计算框架（如Apache Spark）为扩展进化双层算法提供了潜力，但实际部署仍需算法层面的创新。