[論文レビュー] On the use of recurrent neural networks for predictions of turbulent flows

Luca Guastoni, Prem A. Srinivasan+3 more|arXiv (Cornell University)|Feb 4, 2020

Model Reduction and Neural Networks参考文献 13被引用数 12

ひとこと要約

この論文は、近壁乱流の低次元モデルの時間的ダイナミクスを予測するために、特に長短期記憶（LSTM）ネットワークを評価している。Re=400における簡略化された9モード系を用いて、LSTMは平均速度および速度ゆらぎ統計において1%未満の相対誤差を達成し、MLP や GRU よりも優れた性能を示した。特に、損失関数に統計的指標を組み込むことで、学習と一般化性能が向上する。

ABSTRACT

In this paper, the prediction capabilities of recurrent neural networks are assessed in the low-order model of near-wall turbulence by Moehlis {\it et al.} (New J. Phys. {\bf 6}, 56, 2004). Our results show that it is possible to obtain excellent predictions of the turbulence statistics and the dynamic behavior of the flow with properly trained long short-term memory (LSTM) networks, leading to relative errors in the mean and the fluctuations below $1\%$. We also observe that using a loss function based only on the instantaneous predictions of the flow may not lead to the best predictions in terms of turbulence statistics, and it is necessary to define a stopping criterion based on the computed statistics. Furthermore, more sophisticated loss functions, including not only the instantaneous predictions but also the averaged behavior of the flow, may lead to much faster neural network training.

研究の動機と目的

• 乱流せん断流の時間的ダイナミクスを予測するために再帰的ニューラルネットワーク（RNN）の実現可能性を評価すること。
• LSTMネットワークが低次元モデルにおいて、ポアンカレ写像やリャプノフ指数といった乱流統計およびダイナミクス的特徴を正確に再現できるかどうかを評価すること。
• 特に統計的平均を組み込んだ損失関数が、学習効率および予測精度に与える影響を調査すること。
• 限られた訓練データにおける、LSTMとゲーテッド再帰ユニット（GRU）の乱流統計を捉える性能を比較すること。
• 予測の堅牢性と正確性を高めるために、最適なハイパーパrameter（時間ステップサイズやネットワークアーキテクチャなど）を特定すること。

提案手法

• 近壁乱流の低次元モデルとして、ナビエ＝ストークス方程式へのガラーキン射影から得られる9つの空間モードを用い、9つの結合された常微分方程式系を導出する。
• 10,000件以上の時間系列（各4,000時間単位）を生成し、乱流統計の統計的収束を保証するための訓練および検証に用いる。
• 長短期記憶（LSTM）ネットワークを、過去のモード振幅の系列を入力として、9つのモード振幅の時間的変化を予測するように訓練する。
• 損失関数は、瞬時の予測誤差に加え、速度場の平均および分散といった統計的指標を含むように設計され、統計的誤差の閾値に基づいて学習を停止する。
• 比較のため、多層パーセプトロン（MLP）およびゲーテッド再帰ユニット（GRU）といった代替アーキテクチャも評価する。
• モデル実装にはTensorFlowを用い、CPU上で学習を実施し、最適なパフォーマンスを得るためにハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 LSTMネットワークは、近壁乱流の低次元モデルの時間的ダイナミクスおよび乱流統計を正確に予測できるか？
• RQ2 流れの統計的平均（例：平均および分散）を含む損失関数を用いることで、標準的な瞬時の予測損失よりも収束が速くなり、一般化性能が向上するか？
• RQ3 LSTMは、ポアンカレ写像やリャプノフ指数といった乱流統計およびダイナミクス的特徴を予測する点で、GRU や MLP よりも優れているか？
• RQ4 予測誤差を最小化するために、最適な時間ステップサイズおよびネットワークアーキテクチャ（層数、ユニット数、シーケンス長など）は何か？
• RQ5 高度な損失関数およびアーキテクチャ選択を用いる場合、小規模な訓練データ（例：100件の時間系列）でも信頼できる予測が得られるか？

主な発見

• 瞬時の予測と流れの統計的平均の両方を含む損失関数で訓練されたLSTMネットワークは、平均速度に対して0.26%、速度ゆらぎに対して0.59%の相対誤差を達成した。
• 最良のLSTM設定（LSTM1–1–100）は、平均および速度ゆらぎ統計の両方で1%未満の誤差を達成し、MLP（3.21%および18.61%誤差）およびGRU よりも顕著に優れた性能を示した。
• 瞬時の予測にのみ依存する損失関数で学習を行うと、統計的精度が著しく低下する。したがって、最適なパフォーマンスを得るためには、統計的誤差指標に基づく停止基準が不可欠である。
• 統計的挙動を含むより洗練された損失関数は、限られたデータでも学習を加速させ、一般化性能を向上させる。
• GRUはパrameter数が少なく、計算コストも同程度であるにもかかわらず、統計的誤差が著しく高く、小規模なデータセットでは非物理的な挙動を示す。したがって、本タスクではLSTMに比べて不適切である。
• ネットワーク性能の最適な時間ステップサイズはΔt = 1であり、それ以上のステップサイズでは予測精度が低下する。