[論文レビュー] DR-RNN: A deep residual recurrent neural network for model reduction

J. Nagoor Kani, Ahmed H. Elsheikh|arXiv (Cornell University)|Sep 4, 2017

Model Reduction and Neural Networks参考文献 19被引用数 71

ひとこと要約

論文は、DR-RNNを提案します。これは、離散化ダイナミクスの残差を最小化し、POD/DEIMと統合して非線形ODE/PDEの効率的な縮約モデル化を実現する深層残差リカレントニューラルネットワークです。

ABSTRACT

We introduce a deep residual recurrent neural network (DR-RNN) as an efficient model reduction technique for nonlinear dynamical systems. The developed DR-RNN is inspired by the iterative steps of line search methods in finding the residual minimiser of numerically discretized differential equations. We formulate this iterative scheme as stacked recurrent neural network (RNN) embedded with the dynamical structure of the emulated differential equations. Numerical examples demonstrate that DR-RNN can effectively emulate the full order models of nonlinear physical systems with a significantly lower number of parameters in comparison to standard RNN architectures. Further, we combined DR-RNN with Proper Orthogonal Decomposition (POD) for model reduction of time dependent partial differential equations. The presented numerical results show the stability of proposed DR-RNN as an explicit reduced order technique. We also show significant gains in accuracy by increasing the depth of proposed DR-RNN similar to other applications of deep learning.

研究の動機と目的

• 非線形ダイナミカルシステムのモデル縮約を動機づけ、設計・最適化・不確定性定量化を高速化する。
• 反復的ラインサーチに触発された物理認識DR-RNNアーキテクチャを開発し、離散化ODE/PDEの残差を最小化する。
• 時間的なモデル縮約能力を分析し、標準のRNN/LSTMアーキテクチャと比較する。
• DR-RNNとPOD/DEIMの統合を示し、時変PDEの明示的な縮約モデル化を達成する。

提案手法

• DR-RNNを、離散化ダイナミクスの陰解法の残差を反復的に最小化するスタック型残差ネットワークとして定式化する（Eq. 19）。
• 層更新を y^(k+1) = y^(k) - w ∘ φ_h(U r^(k+1)) for k=1, および y^(k+1) = y^(k) - (η_k / sqrt(G_k+ε)) r^(k+1) for k>1、残差 r^(k+1) は現在の推定から計算する（Eq. 20）。
• 活性化関数としてtanhを用い、安定性のためにrmsprop様の更新を用いる（Eq. 21–23）。
• Uを単位行列として設定し、Wは単位行列のまま、wとη_kを訓練する；出力は y_t+1^(RNN) = W^T y_t+1^K（Eq. 22）。
• DR-RNNをPOD-GalerkinおよびPOD-DEIMと組み合わせて、計算量を削減した明示的な縮約階層モデルを得る（Sec. 2–4の議論）。
• DR-RNNを標準のRNN/LSTMベースラインと比較するため、 temporal model reductionタスクで訓練・検証し、精度とパラメータ数を比較する（Sec. 5.1）。

実験結果

リサーチクエスチョン

• RQ1 DR-RNNは標準のRNNと比較して大幅に少ないパラメータで全次元非線形ダイナミカルシステムを正確に模倣できるか？
• RQ2 残差層を積み重ねることは、大きなタイムステップを持つ明示的な縮約モデルの安定性と精度を改善するか？
• RQ3 DR-RNNは、同等状態次元のRNNおよびLSTMアーキテクチャと比較して時系列モデル縮約器としてどのように機能するか？
• RQ4 POD/DEIMと効果的に組み合わせて、時間依存PDEの効率的な射影ベース縮約モデルを形成できるか？
• RQ5 DR-RNNの深さを増やすことは、テスト問題全体で精度と安定性にどのような影響を与えるか？

主な発見

モデル	d	訓練時MSE	テスト時MSE
RNN_n	33	23·10^{-2}	23·10^{-2}
RNN_10n	84	15·10^{-2}	15·10^{-2}
LSTM_n	1093	21·10^{-2}	21·10^{-2}
LSTM_10n	4053	21·10^{-2}	14·10^{-2}
DR-RNN_1	3	2·10^{-3}	5·10^{-3}
DR-RNN_2	4	4·10^{-5}	4·10^{-6}
DR-RNN_4	6	4·10^{-6}	4·10^{-6}

• DR-RNNは、標準のRNN/LSTMよりもパラメータ数を大幅に抑えつつ、テストされた時間的縮約タスクで精度と同等以上を達成する。
• 残差層を持つDR-RNN（K=2または4）は、問題1でRNN/LSTMよりも適合性が向上し、訓練データとテストデータのMSEを大幅に小さくする。
• DR-RNNはより大きなタイムステップで動作でき、それでも精度を維持し、明示的な縮約手法として安定性を示す。
• POD/DEIMと組み合わせた場合、DR-RNNは非線形ODEの各タイムステップあたりの計算コストを O(n^3) から O(n^2) に削減し、縮約基底サイズ r のROMではさらに O(r^2) に低下する。
• DR-RNNの深さを増すと精度が向上し、より深いバリアント（例：DR-RNN_4）がサンプル問題で最も良い性能を示す。
• 比較結果表（Table 1）によれば、DR-RNNバリアントは、報告された問題1で従来のRNN/LSTMベースラインよりも低いMSEと桁違いに少ないパラメータを達成している。