[论文解读] HybridNet: Integrating Model-based and Data-driven Learning to Predict Evolution of Dynamical Systems

Yun Long, Xueyuan She+1 more|arXiv (Cornell University)|Jun 19, 2018

Neural Networks and Applications参考文献 21被引用 25

一句话总结

HybridNet 提出了一种混合框架，通过融合数据驱动的 ConvLSTM 以预测外部扰动，以及模型驱动的细胞神经网络（CeNN）以求解耦合的偏微分方程（PDEs），实现了对物理参数的实时学习，并在热对流-扩散和流体动力学系统中显著提升了预测精度，优于纯数据驱动方法。

ABSTRACT

The robotic systems continuously interact with complex dynamical systems in the physical world. Reliable predictions of spatiotemporal evolution of these dynamical systems, with limited knowledge of system dynamics, are crucial for autonomous operation. In this paper, we present HybridNet, a framework that integrates data-driven deep learning and model-driven computation to reliably predict spatiotemporal evolution of a dynamical systems even with in-exact knowledge of their parameters. A data-driven deep neural network (DNN) with Convolutional LSTM (ConvLSTM) as the backbone is employed to predict the time-varying evolution of the external forces/perturbations. On the other hand, the model-driven computation is performed using Cellular Neural Network (CeNN), a neuro-inspired algorithm to model dynamical systems defined by coupled partial differential equations (PDEs). CeNN converts the intricate numerical computation into a series of convolution operations, enabling a trainable PDE solver. With a feedback control loop, HybridNet can learn the physical parameters governing the system's dynamics in real-time, and accordingly adapt the computation models to enhance prediction accuracy for time-evolving dynamical systems. The experimental results on two dynamical systems, namely, heat convection-diffusion system, and fluid dynamical system, demonstrate that the HybridNet produces higher accuracy than the state-of-the-art deep learning based approach.

研究动机与目标

• 为解决在物理参数或外部作用力知识不完整或不精确的动力系统中预测时空演化的问题。
• 开发一种结合数据驱动学习与基于物理的建模的框架，以实现在复杂、时变系统中的鲁棒、实时预测。
• 实现在系统运行过程中对未知物理参数（例如密度、扩散系数）的实时学习与自适应。
• 在非线性动力系统中，提升预测精度与计算效率，超越纯数据驱动的深度学习方法。
• 通过高效、硬件优化的推理，支持在移动和机器人平台上的实时部署。

提出的方法

• 使用带有 3D 张量运算的 ConvLSTM 来建模和预测移动热源或障碍物等外部扰动的时空模式。
• 采用细胞神经网络（CeNN）将偏微分方程（PDE）数值计算转化为迭代卷积运算，实现可训练的 PDE 求解器。
• 通过反馈控制回路将 ConvLSTM 与 CeNN 集成，以实现物理参数的实时学习与模型自适应。
• 利用通过 CeNN 求解器的反向传播来学习未知物理参数（如粘度或材料密度），而无需显式计算梯度。
• 利用优化的深度学习框架（如 TensorFlow）加速 CeNN 推理，并实现在 GPU 和嵌入式加速器上的部署。
• 采用专用 ASIC 加速 ConvLSTM 和 CeNN，实现超过 10 倍的加速和亚瓦级功耗，适用于实时机器人应用。

实验结果

研究问题

• RQ1 结合数据驱动与模型驱动组件的混合学习框架，能否在参数不确定的动力系统中提升预测精度？
• RQ2 可训练的 PDE 求解器（CeNN）在系统演化过程中实时学习未知物理参数的效率如何？
• RQ3 ConvLSTM 与 CeNN 的集成在预测复杂非线性动力系统方面，相较于纯数据驱动的深度学习模型，优势有多大？
• RQ4 该框架在系统参数发生突变或渐变（如流体密度变化）时，能否以极低的推理延迟实现自适应？
• RQ5 HybridNet 在嵌入式平台上对机器人应用的计算效率和实时可行性如何？

主要发现

• 在热对流-扩散和纳维-斯托克斯流体系统中，HybridNet 的预测精度显著高于纯数据驱动的 ConvLSTM 模型，PSNR 和损失指标均表现更优。
• 基于 CeNN 的 PDE 求解器实现了对未知物理参数（如流体密度）的实时学习，GPU 上在参数突变后数秒内即实现收敛。
• 对于渐变参数变化（如流体混合物的转变），CeNN 模型能紧密跟踪真实物理系数，展现出优异的自适应学习能力。
• 在 GPU 上，HybridNet 在热系统中每 50ms 时间步耗时 0.33s，在流体系统中每 100ms 时间步耗时 3.03s，使用专用 ASIC 可实现 10 倍加速。
• 通过 ASIC 加速，热系统的总推理时间降至 5.9ms，流体系统降至 41.2ms，满足在功耗受限的机器人平台上的实时部署需求。
• 该框架成功捕捉了复杂非线性动力学现象，例如因小障碍物运动微小变化引发的涡旋形成，而仅使用 ConvLSTM 的模型则无法预测此类现象。