[论文解读] DR-RNN: A deep residual recurrent neural network for model reduction

J. Nagoor Kani, Ahmed H. Elsheikh|arXiv (Cornell University)|Sep 4, 2017

Model Reduction and Neural Networks参考文献 19被引用 71

一句话总结

本文提出 DR-RNN，一种深度残差循环神经网络，旨在最小化离散化动力系统的残差，并与 POD/DEIM 集成以实现非线性 ODEs/PDEs 的高效降阶建模。

ABSTRACT

We introduce a deep residual recurrent neural network (DR-RNN) as an efficient model reduction technique for nonlinear dynamical systems. The developed DR-RNN is inspired by the iterative steps of line search methods in finding the residual minimiser of numerically discretized differential equations. We formulate this iterative scheme as stacked recurrent neural network (RNN) embedded with the dynamical structure of the emulated differential equations. Numerical examples demonstrate that DR-RNN can effectively emulate the full order models of nonlinear physical systems with a significantly lower number of parameters in comparison to standard RNN architectures. Further, we combined DR-RNN with Proper Orthogonal Decomposition (POD) for model reduction of time dependent partial differential equations. The presented numerical results show the stability of proposed DR-RNN as an explicit reduced order technique. We also show significant gains in accuracy by increasing the depth of proposed DR-RNN similar to other applications of deep learning.

研究动机与目标

• 为非线性动力系统的降阶建模提供动机，以实现快速设计、优化和不确定性量化。
• 开发一种受迭代线搜索启发、具物理感知的 DR-RNN 架构，以最小化离散化 ODEs/PDEs 的残差。
• 分析时序降阶能力并与标准 RNN/LSTM 架构进行比较。
• 展示 DR-RNN 与 POD/DEIM 的集成，以对时变 PDEs 进行显式降阶建模。

提出的方法

• 将 DR-RNN 表述为一个堆叠的残差网络，迭代地最小化来自离散化动力学隐式时间步进的残差（式(19)）。
• 定义层更新式：对于 k=1，y^(k+1) = y^(k) - w ∘ φ_h(U r^(k+1))；对于 k>1，y^(k+1) = y^(k) - (η_k / sqrt(G_k+ε)) r^(k+1)，其中残差 r^(k+1) 由当前猜测计算（式(20)）。
• 采用 tanh 作为激活函数，并使用类似 rmsprop 的更新以保证稳定性（式(21)–(23)）。
• 将 U 设为单位矩阵，训练 w 和 η_k，同时保持 W 为单位矩阵；输出为 y_t+1^(RNN) = W^T y_t+1^K（式(22)）。
• 将 DR-RNN 与 POD-Galerkin 及 POD-DEIM 相结合，以获得具有更低计算复杂度的显式降阶模型（见第 2–4 节讨论）。
• 在时序模型降阶任务中对 DR-RNN 进行训练并与标准 RNN/LSTM 基线进行对比，比较准确性和参数数量（第 5.1 节）。

实验结果

研究问题

• RQ1 DR-RNN 是否能够在显著减少参数数量的情况下，准确模拟全阶非线性动力系统，相较于标准 RNN？
• RQ2 堆叠残差层是否在具有较大时间步长的显式降阶模型中提升稳定性和准确性？
• RQ3 在相同状态维度下，DR-RNN 作为时序模型降阶器相对于 RNN 和 LSTM 架构的表现如何？
• RQ4 DR-RNN 是否可与 POD/DEIM 有效结合，形成针对时变 PDE 的高效投影降阶模型？
• RQ5 在测试问题中，增加 DR-RNN 深度对准确性和稳定性有何影响？

主要发现

模型	d	训练误差（mse）	测试误差（mse）
RNN_n	33	23·10^{-2}	23·10^{-2}
RNN_10n	84	15·10^{-2}	15·10^{-2}
LSTM_n	1093	21·10^{-2}	21·10^{-2}
LSTM_10n	4053	21·10^{-2}	14·10^{-2}
DR-RNN_1	3	2·10^{-3}	5·10^{-3}
DR-RNN_2	4	4·10^{-5}	4·10^{-6}
DR-RNN_4	6	4·10^{-6}	4·10^{-6}

• DR-RNN 在被测试的时序降阶任务中，参数量显著低于标准 RNN/LSTM，同等或更高的准确性。
• 带有残差层（K=2 或 4）的 DR-RNN 在问题1中相较于 RNN/LSTM 提供更好的拟合，训练和测试数据的 MSE 明显更小。
• DR-RNN 能使用更大的时间步长运行并仍保持准确性，作为一种显式降阶技术表现出稳定性。
• 与 POD/DEIM 结合时，DR-RNN 将非线性 ODE 的每个时间步的计算量从 O(n^3) 降至 O(n^2)，并且对于降阶基底大小为 r 的 ROM，进一步降至 O(r^2)。
• 增加 DR-RNN 的深度可提升准确性，较深的变体（如 DR-RNN_4）在示例问题上表现最佳。
• 比较结果表（表1）显示，在所报告的问题1中，DR-RNN 变体比传统的 RNN/LSTM 基线在 MSE 更低且参数量显著较少。