[論文レビュー] Neural-network learning of SPOD latent dynamics

Andrea Lario, Romit Maulik+3 more|arXiv (Cornell University)|Oct 18, 2021

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本稿では、SPODモードの潜在的ダイナミクスをLSTMで学習することで、準定常的力学系の非侵襲的低次元モデルを提案する。この手法は、投影誤差を低く抑え、周波数特異的ダイナミクスをより正確に捉える点で、標準的なPODベースのモデルを上回るが、SPOD係数の複雑な時間的挙動とより大きな潜在空間のため、計算コストと学習誤差が高くなる。

ABSTRACT

We aim to reconstruct the latent space dynamics of high dimensional, quasi-stationary systems using model order reduction via the spectral proper orthogonal decomposition (SPOD). The proposed method is based on three fundamental steps: in the first, once that the mean flow field has been subtracted from the realizations (also referred to as snapshots), we compress the data from a high-dimensional representation to a lower dimensional one by constructing the SPOD latent space; in the second, we build the time-dependent coefficients by projecting the snapshots containing the fluctuations onto the SPOD basis and we learn their evolution in time with the aid of recurrent neural networks; in the third, we reconstruct the high-dimensional data from the learnt lower-dimensional representation. The proposed method is demonstrated on two different test cases, namely, a compressible jet flow, and a geophysical problem known as the Madden-Julian Oscillation. An extensive comparison between SPOD and the equivalent POD-based counterpart is provided and differences between the two approaches are highlighted. The numerical results suggest that the proposed model is able to provide low rank predictions of complex statistically stationary data and to provide insights into the evolution of phenomena characterized by specific range of frequencies. The comparison between POD and SPOD surrogate strategies highlights the need for further work on the characterization of the interplay of error between data reduction techniques and neural network forecasts.

研究の動機と目的

• SPODベースの潜在的ダイナミクスを用いて、高次元で準定常的な系の非侵襲的代理モデルを開発すること。
• SPODによる周波数選択的分解を活用することで、複雑な統計的定常データの計算コストを低減し、精度を向上させること。
• 投影誤差、学習誤差、予測精度の観点から、SPODベースのモデリングと従来のPODベースのアプローチを比較すること。
• 低次元モデル化におけるデータ圧縮とニューラルネットワークの学習誤差の相乗的影響を調査すること。
• 実世界のテストケース（圧縮性ジェット流れとMadden-Julian Oscillation）において、本手法の有効性を示すこと。

提案手法

• スナップショットから平均流れを差し引くことで、データ内の摂動を分離する。
• SPODを摂動データに適用し、特異値分解と斜交投影を用いて周波数分解された直交モード基底を抽出する。
• スナップショットをSPODモードに斜交投影することで、時間依存係数を計算し、潜在空間表現を構築する。
• LSTMネットワークを時間係数の時間的進化を学習・予測するために訓練する。
• 学習された係数と事前に計算されたSPODモードを組み合わせることで、高次元データを再構築する。
• フレームワークは、圧縮性ジェット流れとMadden-Julian Oscillationの2つのテストケースで検証され、PODベースのモデルと比較される。

実験結果

リサーチクエスチョン

• RQ1 準定常的系において、SPODベースの潜在的空間学習はPODベースの学習と比較して、投影誤差と学習誤差の観点でどのように異なるか？
• RQ2 周波数帯域が明確な現象に対して、再帰的ニューラルネットワークはSPOD係数の時間的進化を効果的に学習できるか？
• RQ3 保持するSPODモードの数が、モデルの学習誤差と再構築精度に与える影響は何か？
• RQ4 より大きな潜在空間次元を考慮すると、SPODベースのモデリングの計算コストはPODベースのモデリングと比べてどの程度高くなるか？
• RQ5 標準的なPODと比較して、SPODフレームワークは周波数特異的ダイナミクスのモデリングをどの程度改善するか？

主な発見

• SPODベースのモデルは、周波数特異的ダイナミクスをより正確に捉えるためのより洗練され、大きな基底を有するため、PODベースのモデルよりも低い投影誤差を達成する。
• SPODの潜在的空間では、係数の時間的挙動がより複雑で、PODに比べて周期的でない性質を示し、これが学習誤差の増加を引き起こす。
• SPODモデルの学習誤差は、保持するモード数が増えるにつれて増加するため、精度とモデルの複雑さのトレードオフが生じる。
• 計算コストが高くなるものの、Madden-Julian Oscillationのような明確な周波数帯域を持つ現象では、SPODモデルがより優れた再構築忠実度を提供する。
• 本手法は安定的かつ非侵襲的であり、学習された潜在的空間の進化を用いて、未観測のダイナミクスを正確に予測可能である。
• 本フレームワークは汎用的であり、他のニューラルネットワークアーキテクチャへの拡張や、オートエンコーダーなどのAIベースの潜在的空間発見手法と組み合わせることが可能である。