[论文解读] Approximate Dynamic Programming with Feasibility Guarantees

Alexander Engelmann, Maísa Beraldo Bandeira+1 more|arXiv (Cornell University)|Jun 9, 2023

Optimal Power Flow Distribution被引用 4

一句话总结

本文提出了一种新颖的近似动态规划（ADP）方案，用于树状结构优化问题，即使在非凸约束下也能保证单次逆向-正向传递中获得可行解。通过将值函数逼近与可行集的内逼近（通过集合投影实现）相结合，该方法在保留成本信息的同时确保了一次性可行性，推广了电力系统和最优控制领域中先前的方法。

ABSTRACT

Safe and economic operation of networked systems is often challenging. Optimization-based schemes are frequently considered, since they achieve near-optimality while ensuring safety via the explicit consideration of constraints. In applications, these schemes, however, often require solving large-scale optimization problems. Iterative techniques from distributed optimization are frequently proposed for complexity reduction. Yet, they achieve feasibility only asymptotically, which induces a substantial computational burden. This work presents an approximate dynamic programming scheme, which is guaranteed to deliver a feasible solution in "one shot", i.e., in one backward-forward iteration over all subproblems provided they are coupled by a tree structure. Our proposed scheme generalizes methods from seemingly disconnected domains such as power systems and optimal control. We demonstrate its efficacy for problems with nonconvex constraints via numerical examples from both domains.

研究动机与目标

• 为解决在无需迭代优化的情况下，实现大规模、分层网络化系统优化的可行性挑战。
• 开发一种方法，确保在单次传递中实现可行性，克服分布式优化的渐近可行性问题以及经典动态规划中的维数灾难问题。
• 通过整合成本信息与非凸约束，统一并推广电力系统与最优控制领域中现有方法。
• 实现实时应用中的实际部署，其中计算延迟与可行性至关重要。
• 为具有通用约束集的树状结构问题中的近似动态规划提供形式化的可行性保证。

提出的方法

• 该方法使用扩展实值的值函数，同时编码成本与可行性信息，支持从叶节点到根节点的递归逆向传播。
• 它引入子问题可行集的内逼近，确保解在父问题中保持可行。
• 通过集合投影计算这些内逼近，实现可行性约束在树结构中的传播。
• 该算法执行一次逆向传递以计算近似值函数与可行集，随后进行一次正向传递以计算可行解。
• 成本信息通过分段二次或多面体逼近在值函数中被精确或近似保留。
• 该框架与计算几何工具兼容，可高效计算投影，尤其适用于直流最优潮流（DC OPF）和线性配电潮流（LinDistFlow）模型中的多面体约束。

实验结果

研究问题

• RQ1 能否通过近似动态规划，在非凸约束下为树状结构优化问题保证一次性可行解？
• RQ2 如何在不牺牲计算可及性的前提下，将成本信息整合进保持可行性的ADP方案中？
• RQ3 所提出的方法在多大程度上能推广依赖于可行性切割或灵活性聚合的现有电力系统与最优控制方法？
• RQ4 内逼近与集合投影在确保可行性的同时，如何维持次优性界？
• RQ5 与经典分布式优化相比，所提出的ADP方案在收敛速度与可行性保证方面表现如何？

主要发现

• 所提出的ADP方案通过可行集的内逼近，在单次逆向-正向传递中保证了解的可行性，即使在非凸约束下亦成立。
• 对于直流最优潮流（DC OPF），该方法通过多面体投影实现精确可行性，且值函数为分段二次且不可微。
• 该方法推广了电力系统中现有的灵活性聚合技术，将它们统一于一个具备形式化可行性保证的ADP框架下。
• 数值示例表明，该方法在具有非凸约束的问题上表现高效，相比迭代方法显著降低了计算负担，同时保持了解的可行性。
• 该框架通过将树状结构问题抽象为统一的ADP形式，实现了电力系统与最优控制领域之间的方法迁移。
• 理论分析证实，值函数的定义域恰好对应于联合可行集的投影，确保了整个层级的一致性。