[论文解读] Learning for Constrained Optimization: Identifying Optimal Active Constraint Sets

Sidhant Misra, Line Roald+1 more|arXiv (Cornell University)|Feb 26, 2018

Reservoir Engineering and Simulation Methods被引用 15

一句话总结

该论文提出一种流式算法，用于在参数化优化问题中学习最优活动约束集，实现实时快速、约束强制的最优解预测，而无需实时求解大规模优化问题。该方法通过活动集（即恢复解所需的最小信息）利用已知的问题结构，仅需发现少量活动集即可实现高精度，且在电力系统最优潮流问题上验证了低失败率。

ABSTRACT

In many engineered systems, optimization is used for decision making at time-scales ranging from real-time operation to long-term planning. This process often involves solving similar optimization problems over and over again with slightly modified input parameters, often under tight latency requirements. We consider the problem of using the information available through this repeated solution process to directly learn a model of the optimal solution as a function of the input parameters, thus reducing the need to solve computationally expensive large-scale parametric programs in real time. Our proposed method is based on learning relevant sets of active constraints, from which the optimal solution can be obtained efficiently. Using active sets as features preserves information about the physics of the system, enables interpretable models, accounts for relevant safety constraints, and is easy to represent and encode. However, the total number of active sets is also very large, as it grows exponentially with system size. The key contribution of this paper is a streaming algorithm that learns the relevant active sets from training samples consisting of the input parameters and the corresponding optimal solution, without any assumptions on the problem structure. The algorithm comes with theoretical performance guarantees, and is known to converge fast for problem instances with a small number of relevant active sets. It can thus be used to establish the practicability of the learning method. Through extensive experiments on the Optimal Power Flow problem, we observe that often only a few active sets are relevant in practice, suggesting that the active sets is the appropriate level of abstraction for a learning algorithm to target.

研究动机与目标

• 解决在严格延迟约束下，对工程系统中大规模参数化优化问题进行实时求解的挑战。
• 通过将活动集作为中间抽象表示，而非直接学习从输入到解的映射，提升基于机器学习的优化中的安全性和约束执行能力。
• 开发一种流式算法，从训练数据中识别相关活动集，无需对问题结构做任何假设，确保理论收敛性，并在仅涉及少量活动集时实现快速发现。
• 在真实世界电力系统优化基准（特别是最优潮流问题）上验证该方法的实用性和性能。
• 证明在实践中通常仅有少量活动集是相关的，从而证明活动集作为基于学习的优化的有效抽象。

提出的方法

• 该方法使用流式算法从输入参数及其对应的最优解中发现相关活动集，无需对问题结构做先验假设。
• 它将学习任务建模为活动集上的分类问题，通过精确的模型知识保留物理和安全约束。
• 算法基于未发现活动集的质量设计停止准则，利用定理1中的通用上界，确保概率保证。
• 采用集成策略进行预测：从所有发现的活动集中计算最优解，并在这些集合中检查可行性。
• 在弱条件下保证理论收敛性，当仅涉及少量活动集时性能显著提升。
• 该方法避免对约束进行神经网络近似，而是依赖精确的活动集识别以确保约束满足。

实验结果

研究问题

• RQ1 活动集能否作为参数化优化问题中学习最优解的有效且可解释的抽象？
• RQ2 当相关活动集数量较小时，流式算法能多高效地从实时优化数据中发现相关活动集？
• RQ3 输入参数分布（如均匀分布与正态分布）对发现活动集所需样本数有何影响？
• RQ4 与完整优化相比，基于学习的方法在多大程度上保持了约束可行性？
• RQ5 该算法在复杂的真实世界电力系统基准（如IEEE RTS案例）上的表现如何？

主要发现

• 在实践中，对于大多数系统实例，仅有少量活动集是相关的，表明活动集是基于学习的优化中合适的抽象。
• 当相关活动集数量较少时，该算法收敛迅速，性能下降主要源于低概率集而非高基数。
• 对于如 case240_pserc 和 case73_ieee_rts 等系统，由于网络简化或发电机与节点比值较高这类非典型系统特性，算法在22,000个样本内无法终止。
• 基于学习的方法的失败概率始终低于未发现集合质量的输入上界（α），验证了定理1的理论保证。
• 由于集合间概率质量分布更平坦，均匀分布导致比正态分布发现更多活动集和更高的样本数。
• 集成策略确保了高可行性，失败率低于未发现质量的理论最大值，证实了方法的鲁棒性和安全性。