[论文解读] DC3: A learning method for optimization with hard constraints

Priya L. Donti, David Rolnick+1 more|arXiv (Cornell University)|Apr 25, 2021

Constraint Satisfaction and Optimization参考文献 29被引用 64

一句话总结

DC3 学会通过完成部分解并应用可微分校正来解决带有硬等式和不等式约束的优化问题，在可行、近最优结果方面，比传统求解器更快，包括在 AC 最优潮流任务中。

ABSTRACT

Large optimization problems with hard constraints arise in many settings, yet classical solvers are often prohibitively slow, motivating the use of deep networks as cheap "approximate solvers." Unfortunately, naive deep learning approaches typically cannot enforce the hard constraints of such problems, leading to infeasible solutions. In this work, we present Deep Constraint Completion and Correction (DC3), an algorithm to address this challenge. Specifically, this method enforces feasibility via a differentiable procedure, which implicitly completes partial solutions to satisfy equality constraints and unrolls gradient-based corrections to satisfy inequality constraints. We demonstrate the effectiveness of DC3 in both synthetic optimization tasks and the real-world setting of AC optimal power flow, where hard constraints encode the physics of the electrical grid. In both cases, DC3 achieves near-optimal objective values while preserving feasibility.

研究动机与目标

• 激发对具有硬约束的大规模优化问题的快速近似，传统求解器速度慢时。
• 开发一个基于神经网络的框架，通过等式完成来保证对等式约束的可行性。
• 引入一个可微分的不等式矫正步骤，在保持等式可行性的同时强制执行不等式约束。
• 在凸 QP、一个简单的非凸问题，以及 AC 最优潮流 (ACOPF) 上演示 DC3。
• 表明 DC3 能产生可行解，具有近似最优的目标值，并显著快于基线方法。

提出的方法

• 输出一组部分决策变量，通过函数 ϕx 可以完成以满足等式约束；在显式梯度不可用时，使用隐式求导通过 ϕx 进行反向传播。
• 应用一个可微分的基于梯度的校正 ρx，以在等式可行流形上尽量减少不等式违反。
• 用一个软损失对网络进行训练，该损失包含目标值和约束违反： ℓsoft(ŷ)=fx(ŷ)+λg||ReLU(gx(ŷ))||22+λh||hx(ŷ)||22。
• 在测试阶段，将部分输出完成为满足等式的完整向量，然后应用校正以满足不等式。
• 保持完成和校正的可微性，以实现通过约束强制步骤的端到端反向传播。

实验结果

研究问题

• RQ1 神经网络是否能够学习预测一个可以完成以满足等式约束的部分解？
• RQ2 可微分的校正过程是否能够在保持等式可行性的同时确保不等式可行？
• RQ3 在凸、简单非凸以及真实世界的非凸情况（ACOPF）中，DC3 在最优性和可行性方面的表现如何？
• RQ4 在速度和可行性方面，DC3 相比传统优化器和其他基于深度学习的方法如何？

主要发现

• DC3 在凸 QP、简单非凸任务和 ACOPF 中，维持等式和不等式约束的可行性，同时实现接近最优的目标值。
• 在凸 QP 设置下，DC3 明显快于可微分 QP 求解器（大约比 qpth 快 78 倍），且比优化的 OSQP 慢约 9 倍；在非凸任务中，DC3 比 IPOPT 快约 9–10 倍，且目标值具有竞争力。
• 在 ACOPF 中，DC3 产生可行、近最优的结果，运行速度约比 PYPOWER 优化器快 10 倍。
• 消融研究表明，移除等式完成或不等式校正中的任一部分都会导致约束违反，强调两者都是必要的。