[论文解读] Lax-Oleinik-type formulas and efficient algorithms for certain high-dimensional optimal control problems

Paula Chen, Jérôme Darbon+1 more|arXiv (Cornell University)|Sep 30, 2021

Model Reduction and Neural Networks参考文献 83被引用 4

一句话总结

本文提出了适用于具有状态相关运行成本和控制约束的高维最优控制问题的Lax-Oleinik型表示公式及无网格数值求解器。通过利用极小-加法代数与凸优化，该方法实现了与维度的线性缩放，并在FPGA上实现了相较于CPU超过40倍的加速，克服了实时应用中的维数灾难问题。

ABSTRACT

Two of the main challenges in optimal control are solving problems with state-dependent running costs and developing efficient numerical solvers that are computationally tractable in high dimension. In this paper, we provide analytical solutions to certain optimal control problems whose running cost depends on the state variable and with constraints on the control. We also provide Lax-Oleinik-type representation formulas for the corresponding Hamilton-Jacobi partial differential equations with state-dependent Hamiltonians. Additionally, we present an efficient, grid-free numerical solver based on our representation formulas, which is shown to scale linearly with the state dimension, and thus, to overcome the curse of dimensionality. Using existing optimization methods and the min-plus technique, we extend our numerical solvers to address more general classes of convex and nonconvex initial costs. We demonstrate the capabilities of our numerical solvers using implementations on a central processing unit (CPU) and a field-programmable gate array (FPGA). In several cases, our FPGA implementation obtains over a 10 times speedup compared to the CPU, which demonstrates the promising performance boosts FPGAs can achieve. Our numerical results show that our solvers have the potential to serve as a building block for solving broader classes of high-dimensional optimal control problems in real-time.

研究动机与目标

• 解决具有状态相关运行成本和控制约束的高维最优控制问题的挑战。
• 为具有状态相关哈密顿量的哈密顿-雅可比PDE推导解析表示公式。
• 设计一种与状态维度呈线性缩放的无网格数值求解器，以克服维数灾难。
• 在CPU与FPGA平台上实现高效求解器，以支持实时性能。
• 展示FPGA加速在高维最优控制中可行性与性能提升。

提出的方法

• 利用极小-加法代数与凸优化，推导具有状态相关哈密顿量的哈密顿-雅可比PDE的Lax-Oleinik型表示公式。
• 基于这些表示公式构建无网格数值求解器，避免传统基于网格的离散化方法。
• 利用逐元素与逐点并行化，实现与状态维度n的高效缩放。
• 在CPU与FPGA上实现求解器，充分利用FPGA的并行性与低延迟流式处理能力，实现高吞吐量计算。
• 应用极小-加法技术与现有优化方法，将求解器扩展至凸与非凸初始成本。
• 使用三个并行的求解器构建模块处理多维子问题，通过(51)式组合结果。

实验结果

研究问题

• RQ1 能否为具有状态相关哈密顿量的哈密顿-雅可比PDE推导出解析的Lax-Oleinik型公式？
• RQ2 能否设计一种与状态维度呈线性缩放的无网格数值求解器，以解决此类问题？
• RQ3 在高维最优控制中，FPGA加速相较于CPU实现能在多大程度上提升性能？
• RQ4 该求解器在凸与非凸初始成本函数下的表现如何？
• RQ5 能否通过在多个FPGA内核上高效并行化求解器，进一步提升吞吐量？

主要发现

• 对于16维问题，FPGA上的求解器平均实现40倍的加速，单点计算时间低于6×10⁻⁸秒。
• FPGA实现的延迟随维度n线性增长，而资源使用量几乎保持不变，表明具有强大的可扩展性。
• FPGA设计在Xilinx Alveo U280板上使用资源不足30%，为未来进一步并行化预留空间，理论上可实现高达118倍的总加速。
• CPU实现中，16维问题的单点计算时间小于3×10⁻⁶秒，即使在传统硬件上也表现出高效性。
• 该求解器通过与状态维度的线性缩放，成功克服了维数灾难，实现了高维最优控制的实时求解。
• 通过极小-加法技术与现有优化算法，该方法可推广至一般凸与非凸初始成本。