[论文解读] Learning to Estimate and Refine Fluid Motion with Physical Dynamics

Mingrui Zhang, Jianhong Wang+2 more|arXiv (Cornell University)|Jun 21, 2022

Advanced Vision and Imaging被引用 6

一句话总结

该论文提出了一种无监督学习框架，结合了PDE约束的光流预测器与基于物理的校正器，以从图像序列中估计并优化流体运动。通过模仿流体模拟中使用的算子分裂方法，该方法强制实现物理一致性——特别是无散度速度场——在合成基准上实现了最先进性能，并且在无真实标签的情况下对真实世界流体流动表现出强大的泛化能力。

ABSTRACT

Extracting information on fluid motion directly from images is challenging. Fluid flow represents a complex dynamic system governed by the Navier-Stokes equations. General optical flow methods are typically designed for rigid body motion, and thus struggle if applied to fluid motion estimation directly. Further, optical flow methods only focus on two consecutive frames without utilising historical temporal information, while the fluid motion (velocity field) can be considered a continuous trajectory constrained by time-dependent partial differential equations (PDEs). This discrepancy has the potential to induce physically inconsistent estimations. Here we propose an unsupervised learning based prediction-correction scheme for fluid flow estimation. An estimate is first given by a PDE-constrained optical flow predictor, which is then refined by a physical based corrector. The proposed approach outperforms optical flow methods and shows competitive results compared to existing supervised learning based methods on a benchmark dataset. Furthermore, the proposed approach can generalize to complex real-world fluid scenarios where ground truth information is effectively unknowable. Finally, experiments demonstrate that the physical corrector can refine flow estimates by mimicking the operator splitting method commonly utilised in fluid dynamical simulation.

研究动机与目标

• 解决标准光流方法在估计复杂、物理一致的流体运动方面的局限性。
• 克服现有光流方法在应用于流体动力学时缺乏物理一致性和时间连贯性的问题。
• 开发一种基于学习的框架，将物理定律（纳维-斯托克斯方程）与图像观测相结合，以提高估计精度。
• 在真实世界场景中实现鲁棒估计，其中真实标签数据不可用或难以获取。
• 通过预测-校正架构弥合数据驱动光流与基于物理的流体模拟之间的差距。

提出的方法

• 使用PDE约束的光流网络作为初始运动预测器，其源自与斯托克斯方程相关的无监督学习公式的欧拉-拉格朗日方程。
• 设计一个物理校正器，以预测的速度场和前一时间步的速度作为输入，以强制实现物理一致性。
• 通过卷积层实现校正器，以近似空间导数，从而实现纳维-斯托克斯动量方程和连续性方程的离散化。
• 将校正步骤设计为在单次前向传播中同时强制满足无散度约束和动量守恒，模拟科林的投影法。
• 在无监督设置下训练整个系统，仅使用图像重建损失和物理一致性损失，无需真实流场标签。
• 通过将前一时刻的速度场引入校正器，利用时间信息，提升时间连贯性并减少伪影。

实验结果

研究问题

• RQ1 基于学习的框架是否可以通过将物理约束整合到光流预测中来改善流体运动估计？
• RQ2 当仅在合成数据上进行训练时，无监督方法在真实世界流体流动上的泛化能力如何？
• RQ3 基于物理的校正器在多大程度上提升了估计速度场的物理合理性与准确性？
• RQ4 所提出的预测-校正方案是否能有效模拟流体动力学中既有的数值方法（如算子分裂）？
• RQ5 在复杂流动情况下，该方法与监督学习基线相比，在精度和鲁棒性方面表现如何？

主要发现

• 所提出的方法在合成基准数据集上优于标准光流方法，尤其在复杂、湍流或非均匀流动模式下表现更优。
• 无监督方法在相同基准上与最先进监督学习方法相比表现出具有竞争力的结果，展示了强大的泛化能力。
• 物理校正器显著改善了估计速度场的无散度特性，使其更符合不可压缩纳维-斯托克斯方程。
• 在无真实标签的真实世界流体流动序列中，该方法生成了视觉上和物理上合理的速度场，在定性和定量比较中优于开源PIV软件。
• 该框架成功泛化至复杂真实场景，如烟雾、水流和湍流涡旋，这些场景中真实标签不可用。
• 校正器的行为与数值流体模拟中使用的算子分裂方法高度一致，验证了其物理可解释性与一致性。