[论文解读] Learning to Control PDEs with Differentiable Physics

Philipp Holl, Vladlen Koltun+1 more|arXiv (Cornell University)|Jan 21, 2020

Model Reduction and Neural Networks参考文献 57被引用 44

一句话总结

本论文引入一个带有可微分 PDE 求解器的分层预测-校正框架，用于学习 PDE 驱动系统的长时域控制，在 Burgers 与不可压 Navier–Stokes 流动的部分观测条件下展示。

ABSTRACT

Predicting outcomes and planning interactions with the physical world are long-standing goals for machine learning. A variety of such tasks involves continuous physical systems, which can be described by partial differential equations (PDEs) with many degrees of freedom. Existing methods that aim to control the dynamics of such systems are typically limited to relatively short time frames or a small number of interaction parameters. We present a novel hierarchical predictor-corrector scheme which enables neural networks to learn to understand and control complex nonlinear physical systems over long time frames. We propose to split the problem into two distinct tasks: planning and control. To this end, we introduce a predictor network that plans optimal trajectories and a control network that infers the corresponding control parameters. Both stages are trained end-to-end using a differentiable PDE solver. We demonstrate that our method successfully develops an understanding of complex physical systems and learns to control them for tasks involving PDEs such as the incompressible Navier-Stokes equations.

研究动机与目标

• 为具有大量自由度的复杂 PDE 提出基于学习的控制的动机。
• 将控制分为规划（预测）和执行（校正）模块。
• 利用可微分的 PDE 求解器进行时间反向传播，以实现端到端训练。
• 通过跨越多时间尺度的分层时间建模实现长时域控制。
• 通过以可观测状态为条件来取代对全状态的需求，处理部分观测性。

提出的方法

• 提出一个带有观测预测器（OP）和控制力估计器（CFE）的预测-校正架构。
• 递归地在时间步之间的中心点对中间可观测状态进行预测，以在多时间尺度上创建时间层次结构。
• 为每个时间尺度实例化一个唯一的 OP 模型，并通过预测-细化执行方案进行训练，以实现稳定性和准确性。
• 使用可微分的 PDE 求解器（PhiFlow）对完整轨迹进行反向传播，并通过可微分物理损失来优化控制力。
• 将可微分物理损失与可选的监督损失结合起来，训练使控制力平方和的积分最小化并匹配目标可观测量的智能体。
• 讨论执行顺序（预测-细化、错峰执行）以在规划精度和计算效率之间取得平衡。

实验结果

研究问题

• RQ1 神经智能体能否在长时间跨度内学习控制由 PDE 支配的系统？
• RQ2 带有可微分求解器的分层预测-校正架构在部分观测下能否实现稳定的长时域控制？
• RQ3 时间层级和预测-细化相对于单步或纯监督方法在 PDE 控制中的表现如何？
• RQ4 观测状态条件对控制性能有哪些影响？

主要发现

• 与纯监督训练相比，可微分物理损失显著提升轨迹重建质量。
• 经细化的预测-细化方案在 Burgers 方程的测试方法中实现了最低的控制力需求（14.2 ±0.7 对比有监督的 CFE 链的 83.4 ±2.0）。
• 对于 Burgers 方程，含细化的可微分物理设置在推理时间显著短于迭代优化的情况下获得相似的轨迹质量（3.05 ±0.37 ms）。
• 在二维不可压流动中，带可微分物理的错峰与细化方案所需的力显著低于监督基线（例如 22.6 ±1.1 对比 243 ±11 于一个自然流动任务）。
• 在形状/流动任务中，经过细化、可微分物理的预测达到的最终损失约为错峰变体的一半，并以更平滑的过渡收敛到目标状态。
• 学习到的解多样性使推理几乎瞬时，并且可以作为传统求解器的良好初始猜测，改善收敛性。