[论文解读] Deep convolutional recurrent autoencoders for learning low-dimensional feature dynamics of fluid systems

Francisco Javier González, Maciej Balajewicz|arXiv (Cornell University)|Aug 3, 2018

Model Reduction and Neural Networks参考文献 8被引用 79

一句话总结

一个数据驱动的端到端深度学习框架，将深度卷积自编码器与改良的 LSTM 相结合，在不依赖控制方程算子的前提下，学习并演化高维流体系统的低维特征表示。

ABSTRACT

Model reduction of high-dimensional dynamical systems alleviates computational burdens faced in various tasks from design optimization to model predictive control. One popular model reduction approach is based on projecting the governing equations onto a subspace spanned by basis functions obtained from the compression of a dataset of solution snapshots. However, this method is intrusive since the projection requires access to the system operators. Further, some systems may require special treatment of nonlinearities to ensure computational efficiency or additional modeling to preserve stability. In this work we propose a deep learning-based strategy for nonlinear model reduction that is inspired by projection-based model reduction where the idea is to identify some optimal low-dimensional representation and evolve it in time. Our approach constructs a modular model consisting of a deep convolutional autoencoder and a modified LSTM network. The deep convolutional autoencoder returns a low-dimensional representation in terms of coordinates on some expressive nonlinear data-supporting manifold. The dynamics on this manifold are then modeled by the modified LSTM network in a computationally efficient manner. An offline unsupervised training strategy that exploits the model modularity is also developed. We demonstrate our model on three illustrative examples each highlighting the model's performance in prediction tasks for fluid systems with large parameter-variations and its stability in long-term prediction.

研究动机与目标

• 使用卷积自编码器识别高维流体系统状态的最优低维流形。
• 用递归神经网络建模所学习的低维特征的时序演化。
• 提供一种离线的无监督训练策略，利用模型模块性实现高效学习。
• 在具有大参数变化的流体动力学问题上展示稳定性和预测能力。

提出的方法

• 使用深度卷积自编码器从全状态快照中学习非线性数据支撑流形上的坐标。
• 采用改进的 LSTM 网络来建模在所学流形上低维特征的动力学。
• 以离线、无监督方式端到端训练自编码器和时序动力学模型。
• 利用卷积结构捕捉局部相关性，并相较于全连接编码器降低参数数量。
• 利用一种两步训练策略，使用当前的降维状态逐步训练 LSTM。

实验结果

研究问题

• RQ1 在无法获得控制方程算子的情况下，卷积自编码器是否能够为高维流体状态识别出具表达性的低维流形？
• RQ2 改进的 LSTM 是否能够随时间准确演化对参数可变的流体问题所学习的低维特征？
• RQ3 相比传统的ROM方法，所提出的模块化端到端架构是否提升了稳定性和长期预测能力？
• RQ4 该方法在流体动力学应用中如何处理大参数变化？

主要发现

• 该方法通过将卷积自编码器与 LSTM 结合来学习并演化降维坐标，从而提供数据驱动的非线性模型降维。
• 卷积结构通过利用局部相关性和权值共享实现对高维流体数据的可扩展处理。
• 两步无监督训练策略与端到端训练利用模块化来训练降维表示及其动力学。
• 在三个流体动力学示例上的演示显示，在长期预测和大参数变化下实现有效预测和稳定性。
• 该方法是非侵入式的，只需要数据，不需要访问控制方程算子。