[論文レビュー] Recurrent neural networks and Koopman-based frameworks for temporal predictions in turbulence.

Hamidreza Eivazi, Luca Guastoni+3 more|arXiv (Cornell University)|May 1, 2020

Model Reduction and Neural Networks参考文献 45被引用数 5

ひとこと要約

本稿では、低次元近壁乱流モデルにおける乱流ダイナミクスを予測するために、長短期記憶（LSTM）ネットワークと非線形駆動を備えた新規コプマンに基づくフレームワーク（KNF）を評価している。両手法とも平均および揺動統計の相対誤差が1%未塔を達成しており、KNFは短期予測精度と計算コストの面でLSTMを上回っている。統計に基づく損失関数により、瞬時の予測に過適合することを避けることで一般化性能が向上している。

ABSTRACT

The prediction capabilities of recurrent neural networks and Koopman-based frameworks are assessed in the low-order model of near-wall turbulence by Moehlis et al. (New J. Phys. 6, 56, 2004). Our results show that it is possible to obtain excellent predictions of the turbulence statistics and the dynamic behavior of the flow with properly trained long-short-term memory (LSTM) networks, leading to relative errors in the mean and the fluctuations below $1\%$. Besides, a newly developed Koopman-based framework, called Koopman with nonlinear forcing (KNF), leads to the same level of accuracy in the statistics at a significantly lower computational expense. Furthermore, the KNF framework outperforms the LSTM network when it comes to short-term predictions. We also observe that using a loss function based only on the instantaneous predictions of the flow can lead to suboptimal predictions in terms of turbulence statistics. Thus, we propose a stopping criterion based on the computed statistics which effectively avoids overfitting to instantaneous predictions at the cost of deteriorated statistics. This suggests that a new loss function, including the averaged behavior of the flow as well as the instantaneous predictions, may lead to an improved generalization ability of the network.

研究の動機と目的

• 低次元乱流ダイナミクスのモデル化における再帰的ニューラルネットワークとコプマンに基づくフレームワークの予測性能を評価すること。
• LSTMネットワークと新たに提案された非線形駆動を有するコプマン（KNF）フレームワークの精度と計算効率を比較すること。
• 瞬時の予測にのみ基づく損失関数が、乱流統計の精度に与える影響を調査すること。
• 過剰適合を回避するため、統計的指標に基づく停止基準を確立すること。
• 瞬時の挙動と平均的な流れの挙動の両方を組み込んだハイブリッド損失関数の有効性を検討すること。

提案手法

• 低次元乱流モデルの時系列データから時間的ダイナミクスを学習するために、長短期記憶（LSTM）ネットワークを用いた。
• 非線形駆動項を導入したコプマンに基づくフレームワーク（KNF）を開発し、線形コプマン作用素理論を非線形ダイナミクスの記述に拡張した。
• ベースライン性能を評価するために、瞬時の予測誤差に基づく標準的な損失関数を用いて両モデルを訓練した。
• 訓練中に平均および揺動統計をモニタリングする統計に基づく停止基準を導入し、統計的精度が頭打ちになった段階で学習を停止した。
• 瞬時の予測と長期的な統計的挙動の両方を組み込んだ、一般化性能を向上させるための修正損失関数を提案した。
• 相対誤差（平均および平均二乗揺動）、および短期予測精度を含む定量的指標を用いて、モデルの性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 LSTMネットワークは、低次元乱流モデルにおける乱流統計とダイナミクスの高精度な予測を達成できるか？
• RQ2 提案された非線形駆動を有するコプマン（KNF）フレームワークは、LSTMの性能を同等または上回るか？
• RQ3 瞬時の予測にのみ基づく損失関数は、乱流統計の精度にどの程度悪影響を及えるか？
• RQ4 計算された乱流統計に基づく停止基準は、一時的な流れの特徴に過剰適合することを効果的に防ぎ、長期的な統計的正確性を損なわないか？
• RQ5 瞬時の挙動と平均的流れの挙動の両方を含むハイブリッド損失関数は、モデルの一般化能力を向上させることができるか？

主な発見

• LSTMネットワークは、乱流モデルの平均および揺動統計において、1%未塔の相対誤差を達成しており、優れた予測精度を示している。
• KNFフレームワークは、LSTMと同等の統計的正確性を達成しているが、はるかに低い計算コストを実現しており、より効率的である。
• KNFは短期予測精度においてLSTMを上回っており、一時的挙動の時間的ダイナミクスをより優れた精度でモデル化できている。
• 瞬時の予測にのみ基づく損失関数は、統計的性能が最適でない結果をもたらし、一時的流れ状態への過剰適合のリスクを示している。
• 計算された乱流統計に基づく停止基準は、瞬時の予測への過剰適合を効果的に防ぎ、統計的正確性を保持している。
• 結果から、瞬時の挙動と平均的流れの挙動の両方を組み込んだハイブリッド損失関数は一般化性能を向上させうると示唆されており、より頑健な予測モデルの構築に向けた道筋が示された。