[论文解读] Comparing recurrent and convolutional neural networks for predicting wave propagation

Stathi Fotiadis, Eduardo Pignatelli+4 more|arXiv (Cornell University)|Feb 20, 2020

Meteorological Phenomena and Simulations参考文献 17被引用 29

一句话总结

本文比较了基于LSTM的循环神经网络与基于U-Net和PredRNN++的卷积神经网络在预测由Saint-Venant方程控制的表面波传播中的表现。结果表明，卷积网络在长期预测中达到与循环模型相当的性能，同时推理速度显著更快——相比数值求解器最快可提升241倍，使其成为工程与环境建模中时空PDE预测的高效替代方案。

ABSTRACT

Dynamical systems can be modelled by partial differential equations and numerical computations are used everywhere in science and engineering. In this work, we investigate the performance of recurrent and convolutional deep neural network architectures to predict the surface waves. The system is governed by the Saint-Venant equations. We improve on the long-term prediction over previous methods while keeping the inference time at a fraction of numerical simulations. We also show that convolutional networks perform at least as well as recurrent networks in this task. Finally, we assess the generalisation capability of each network by extrapolating in longer time-frames and in different physical settings.

研究动机与目标

• 评估并比较循环神经网络与卷积神经网络在预测由Saint-Venant方程控制的长期表面波传播中的性能。
• 评估这些模型在训练分布之外的泛化能力，包括对更长预测时序和不同物理设置的外推能力。
• 确定卷积架构是否能在涉及PDE的时空序列预测任务中达到或超越循环模型的性能。
• 探究卷积网络中学习到的表征是否编码了物理上有意义的信息，如水箱尺寸或波速。
• 提供一种快速、准确的深度学习替代方案，以替代传统数值求解器，将推理时间缩短数个数量级。

提出的方法

• 在由模拟波传播生成的水面高度图序列上，训练了四种架构：LSTM（基线）、ConvLSTM、PredRNN++和U-Net。
• 使用Saint-Venant方程的物理模拟作为真实数据生成器，参数包括不同的水箱尺寸和初始条件。
• 采用标准深度学习训练协议，包括早停、学习率调度和权重初始化，损失函数为均方误差。
• 使用U-Net编码器头提取潜在表征，并微调其以从连续5帧中预测水箱尺寸。
• 通过20步和80步预测时序的RMSE，比较各模型的推理速度与预测精度。
• 通过在未见水箱尺寸和训练中未出现的波动力学条件下测试，开展泛化能力的消融研究。

实验结果

研究问题

• RQ1 卷积神经网络能否在由Saint-Venant方程控制的波传播预测中，实现与循环网络相当的长期预测精度？
• RQ2 在推理速度与预测精度方面，不同深度学习架构（LSTM、ConvLSTM、PredRNN++、U-Net）如何比较？
• RQ3 训练好的模型在更长预测时序和不同物理设置（如改变水箱尺寸）下的泛化能力如何？
• RQ4 卷积网络中学习到的表征是否编码了物理相关的有意义信息，如波速或系统尺寸？
• RQ5 在基于深度学习的波动力学PDE求解器中，模型复杂度、推理速度与精度之间的权衡如何？

主要发现

• 在80个时间步的预测中，U-Net和PredRNN++模型的RMSE最低（分别为0.07和0.09），显著优于基线LSTM模型（0.19）。
• U-Net模型相比数值模拟器实现了241倍的加速，单帧推理时间仅2.6ms，而求解器需630.7ms。
• 卷积网络（U-Net、PredRNN++）在长期预测精度上达到或超过循环模型（LSTM、ConvLSTM）的表现。
• 预训练的U-Net编码器可将水箱尺寸预测的平均误差控制在0.14以内，表明其学习到了物理相关的特征；而随机初始化编码器表现较差（误差2.27）。
• U-Net和PredRNN++在更小和更大的水箱上均表现出有限的泛化能力，误差超过基线基准回归器，表明其无法外推物理尺度。
• 特征图可视化显示，U-Net利用空间局部化特征（如波峰、波谷、边界），而PredRNN++则通过时间记忆逐步构建预测。