[论文解读] SPNets: Differentiable Fluid Dynamics for Deep Neural Networks

Connor Schenck, Dieter Fox|arXiv (Cornell University)|Jun 15, 2018

Model Reduction and Neural Networks参考文献 31被引用 36

一句话总结

SPNets 提出了一种基于可微粒子的流体动力学框架，用于深度神经网络，通过两种新型层——ConvSP 和 ConvSDF——实现在数据中端到端学习流体参数（例如，粘性系数、内聚力）的能力。通过将基于位置的流体（PBF）算法整合到具有解析梯度的神经网络中，SPNets 实现了对液体操作策略的直接学习以及在真实倒液任务中高精度的感知感知流体状态追踪。

ABSTRACT

In this paper we introduce Smooth Particle Networks (SPNets), a framework for integrating fluid dynamics with deep networks. SPNets adds two new layers to the neural network toolbox: ConvSP and ConvSDF, which enable computing physical interactions with unordered particle sets. We use these lay- ers in combination with standard neural network layers to directly implement fluid dynamics inside a deep network, where the parameters of the network are the fluid parameters themselves (e.g., viscosity, cohesion, etc.). Because SPNets are imple- mented as a neural network, the resulting fluid dynamics are fully differentiable. We then show how this can be successfully used to learn fluid parameters from data, perform liquid control tasks, and learn policies to manipulate liquids.

研究动机与目标

• 解决将非结构化、基于粒子的流体动力学整合到深度神经网络中以实现机器人液体操作的挑战。
• 实现从观测数据中对流体参数（例如，粘性系数、内聚力）进行端到端可微学习。
• 提出一种通过指定目标液体状态而非使用辅助奖励函数来学习液体操作策略的方法。
• 通过将感知（例如，RGB/热成像相机输入）整合到可微流体模拟流程中，提升真实场景下流体状态估计的准确性。

提出的方法

• 引入 ConvSP 和 ConvSDF 层以处理无序粒子集合，并在神经网络内部直接计算物理相互作用。
• 将基于位置的流体（PBF）算法——处理压力、内聚力、表面张力和碰撞——嵌入到可微计算图中。
• 利用时间反向传播的解析梯度，联合训练流体参数和感知网络。
• 采用感知校正模块（SolvePerception），将 3D 粒子位置投影到 2D 图像平面，并最小化双重损失：准确度（粒子到像素距离）和覆盖度（像素到粒子距离）。
• 使用端到端反向传播在 30 个时间步长上训练完整的 SPNet 流程，ADAM 优化器，并在预训练后固定 LSTM-FCN 权重。
• 采用展开（unrolling）方式进行训练，使梯度能够从未来时间步反向传播至初始参数，包括感知和流体动力学组件。

实验结果

研究问题

• RQ1 基于粒子的流体动力学是否可以在深度学习框架中实现完全可微，从而实现流体参数的端到端训练？
• RQ2 SPNets 是否能够通过学习的感知模块，利用 RGB/热成像图像观测准确重建液体状态？
• RQ3 SPNets 是否能够通过优化目标液体构型而非奖励函数设计，学习到有效的液体操作策略？
• RQ4 感知与可微流体动力学的集成如何提升真实倒液序列中状态估计的准确性？

主要发现

• 在 12 个真实倒液序列中，SPNets 在液体状态追踪任务中实现了高交并比（IOU）性能，结合感知的 SPNets 显著优于仅使用开环 SPNets 的方法。
• 感知模块显著提升了基于粒子的液体表示的覆盖度和准确度，这通过投影粒子位置与真实液体像素之间的双重损失函数得到验证。
• 通过时间反向传播的端到端训练，实现了流体参数与感知网络权重的有效联合优化，从而实现鲁棒的状态估计。
• 该方法成功地从数据中学习流体参数（例如，粘性系数、内聚力），而无需依赖真实物理标签，仅依赖视觉观测。
• SPNets 通过指定目标液体状态实现了液体操作策略的学习，证明了可微流体动力学在控制策略训练中的可行性。
• 当集成感知模块后，IOU 指标持续提升，证实感知校正模块增强了流体状态重建的保真度。