[論文レビュー] Comparing recurrent and convolutional neural networks for predicting wave propagation

Stathi Fotiadis, Eduardo Pignatelli+4 more|arXiv (Cornell University)|Feb 20, 2020

Meteorological Phenomena and Simulations参考文献 17被引用数 29

ひとこと要約

この論文は、サインツ＝ヴェナン方程式に従う表面波の伝播を予測するための再帰的（LSTMベース）および畳み込み型（U-Net、PredRNN++）ニューラルネットワークを比較している。畳み込み型ネットワークは長期予測において再帰モデルと同等の性能を達成するとともに、推論速度が著しく速く、数値ソルバーの最大241倍速いため、工学的・環境的モデリングにおける時空間PDE予測の高効率な代替手法であることが示された。

ABSTRACT

Dynamical systems can be modelled by partial differential equations and numerical computations are used everywhere in science and engineering. In this work, we investigate the performance of recurrent and convolutional deep neural network architectures to predict the surface waves. The system is governed by the Saint-Venant equations. We improve on the long-term prediction over previous methods while keeping the inference time at a fraction of numerical simulations. We also show that convolutional networks perform at least as well as recurrent networks in this task. Finally, we assess the generalisation capability of each network by extrapolating in longer time-frames and in different physical settings.

研究の動機と目的

• サインツ＝ヴェナン方程式に従う表面波伝播の長期的予測において、再帰的および畳み込み型ニューラルネットワークの性能を評価・比較すること。
• 訓練分布を超えた一般化能力を評価し、より長い時間や異なる物理的設定への外挿を含むこと。
• 畳み込み型アーキテクチャが、PDEを含む時空間系列予測タスクにおいて再帰モデルを同等または上回る性能を達成できるかどうかを検証すること。
• 畳み込み型ネットワークの学習済み表現が、タンクサイズや波速といった物理的に意味のある情報を符号化しているかどうかを調査すること。
• 従来の数値ソルバーに代わる高速で正確なディープラーニング手法を提供し、推論時間を桁違いに短縮すること。

提案手法

• シミュレートされた波動伝播からの水表面高さマップの系列を用いて、LSTM（ベースライン）、ConvLSTM、PredRNN++、U-Netの4つのアーキテクチャを訓練した。
• 真値データ生成に、タンクサイズや初期条件を変化させたサインツ＝ヴェナン方程式の物理的シミュレーションを用いた。
• 早期停止、学習率スケジューリング、重み初期化を含む標準的なディープラーニング訓練プロトコルを採用し、平均二乗誤差損失関数を用いた。
• 潜在表現を抽出するためのU-Netエンコーダーヘッドを採用し、5フレーム連続でタンクサイズを予測するように微調整した。
• RMSEを20および80タイムステップ先で評価し、モデル間の推論速度と予測精度を比較した。
• 訓練データに含まれないタンクサイズや波動ダイナミクスを用いた一般化に関するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 サインツ＝ヴェナン方程式に従う波動伝播予測において、畳み込み型ニューラルネットワークが再帰モデルと同等の長期的予測精度を達成できるか？
• RQ2 LSTM、ConvLSTM、PredRNN++、U-Netといった異なるディープラーニングアーキテクチャは、推論速度と予測精度の面でどのように比較できるか？
• RQ3 訓練データにない物理的設定（例えば、異なるタンクサイズ）やより長い予測ホライズンへの一般化能力はどの程度達成できるか？
• RQ4 畳み込み型ネットワークの学習済み表現が、波速やシステムサイズといった物理的に関連する情報を符号化しているか？
• RQ5 波動ダイナミクスのPDEソルバーとしてのディープラーニング手法において、モデルの複雑さ、推論速度、精度のトレードオフは何か？

主な発見

• U-NetとPredRNN++は80タイムステップ先で最小のRMSE（それぞれ0.07および0.09）を達成し、ベースラインのLSTM（0.19）を著しく上回った。
• U-Netは数値シミュレータ比で241倍の高速化を達成し、1フレームあたり2.6msで処理したのに対し、シミュレータは630.7msを要した。
• 畳み込み型ネットワーク（U-Net、PredRNN++）は、再帰モデル（LSTM、ConvLSTM）の長期的予測精度を同等または上回った。
• 事前学習済みのU-Netエンコーダーは平均誤差0.14でタンクサイズを予測でき、物理的に意味のある特徴を学習していることを示した。一方、ランダムエンコーダーは誤差2.27と著しく劣った。
• U-NetとPredRNN++の両方とも、より小さいおよびより大きなタンクに対して一般化が限定的であり、ベースラインのダミー回帰モデルを上回る誤差を示した。これは物理的スケールの外挿に失敗していることを示している。
• 特徴マップの可視化により、U-Netは空間的に局在した特徴（ピーク、谷、境界）を用いているのに対し、PredRNN++は時間的記憶を介して段階的に予測を構築していることがわかった。