[论文解读] Learning for CasADi: Data-driven Models in Numerical Optimization

Tim Salzmann, Jon Arrizabalaga+3 more|arXiv (Cornell University)|Dec 10, 2023

Model Reduction and Neural Networks被引用 7

一句话总结

本文提出了 L4CasADi，一个框架，可实现将 PyTorch 训练的深度学习模型无缝集成到基于 CasADi 的数值优化工作流中。通过将学习到的模型编译为高效的 C++ 代码并支持硬件加速，L4CasADi 实现了高性能、可微分的优化，涉及复杂的数据驱动动力学——通过在湍流中实现节能的鱼类轨迹规划以及使用神经辐射场（NeRF）的无碰撞运动规划得到验证。

ABSTRACT

While real-world problems are often challenging to analyze analytically, deep learning excels in modeling complex processes from data. Existing optimization frameworks like CasADi facilitate seamless usage of solvers but face challenges when integrating learned process models into numerical optimizations. To address this gap, we present the Learning for CasADi (L4CasADi) framework, enabling the seamless integration of PyTorch-learned models with CasADi for efficient and potentially hardware-accelerated numerical optimization. The applicability of L4CasADi is demonstrated with two tutorial examples: First, we optimize a fish's trajectory in a turbulent river for energy efficiency where the turbulent flow is represented by a PyTorch model. Second, we demonstrate how an implicit Neural Radiance Field environment representation can be easily leveraged for optimal control with L4CasADi. L4CasADi, along with examples and documentation, is available under MIT license at https://github.com/Tim-Salzmann/l4casadi

研究动机与目标

• 解决 CasADi 这一主流数值优化框架中对学习模型缺乏原生支持的问题。
• 实现深度学习模型在优化流水线中的高效、硬件加速集成，同时不牺牲可微性或性能。
• 弥合基于 PyTorch 的数据驱动建模与基于 CasADi 的数值优化之间的鸿沟，以应对复杂现实问题。
• 支持结合学习动力学与约束非线性规划的端到端优化工作流。
• 促进在嵌入式或高性能环境中部署优化后的模型，适用于独立的 C/C++ 应用程序。

提出的方法

• 以 PyTorch 模型作为输入，通过 L4CasADi 的运行时编译流水线将其编译为优化后的 C++ 代码。
• 将编译后的模型作为 CasADi 的 MX 图中可微分的符号函数暴露，从而实现与 NLP 的无缝集成。
• 通过设备感知的模型编译支持 GPU 和 CPU 推理，实现在优化过程中利用硬件加速。
• 生成独立的共享库（如 .so 文件），用于在 MATLAB 或 C++ 等外部环境中部署。
• 使用 CasADi 的非线性规划（NLP）求解器（如 IPOPT）求解涉及学习模型的优化问题。
• 在优化框架内使用训练好的神经网络表示复杂环境动力学，如湍流或基于 NeRF 的场景密度。

Figure 1: Minimum energy trajectory (magenta) to navigate from the start (green) to the goal (red) in the presence of a turbulent flow represented by its vorticity (A) and velocity field (B). The trajectory generator is implemented in CasADi, while the flow is modeled by a Neural Network in PyTorch

实验结果

研究问题

• RQ1 如何高效且可微地将来自 PyTorch 的学习神经网络模型集成到基于 CasADi 的数值优化框架中？
• RQ2 在包含数据驱动组件的优化工作流中，硬件加速（如 GPU）能够被利用到何种程度？
• RQ3 是否可以使用混合学习-优化流水线求解涉及隐式、高维环境表示（如 NeRF）的复杂、非凸最优控制问题？
• RQ4 在真实场景中，使用学习模型的优化与解析公式在性能和精度上相比如何？
• RQ5 在嵌入式或实时系统中，将优化后的学习模型以独立 C/C++ 应用程序形式部署的实际可行性如何？

主要发现

• L4CasADi 有效实现了涉及 PyTorch 模型的端到端可微分优化，全面支持 GPU 加速和 C++ 代码生成。
• 该框架实现了基于 PyTorch 流场模型的湍流河流中鱼类轨迹优化，生成了利用涡流的节能路径。
• 鱼类轨迹有效利用了正负涡流以最小化能量消耗，且在 y 方向上的速度指令保持接近零。
• L4CasADi 通过将 NeRF 密度视为隐式障碍函数，实现了在 NeRF 嵌入的三维环境中无碰撞的轨迹规划。
• 通过 CasADi 的 IPOPT 求解器实现了在 NeRF 基于碰撞约束下的 9 阶多项式轨迹优化，学习模型作为可微分约束被集成。
• 该框架支持将优化后的模型作为独立共享库（如 libl4casadi_f.so）部署，使其可在 MATLAB 和 C++ 环境中使用。