[論文レビュー] Learning the Effective Dynamics of Complex Multiscale Systems.

Pantelis R. Vlachas, Georgios Arampatzis+2 more|arXiv (Cornell University)|Jun 24, 2020

Model Reduction and Neural Networks参考文献 36被引用数 8

ひとこと要約

本論文は、自己符号化器と再帰的ニューラルネットワークを組み合わせることで、複雑なマルチスケール系の粗いスケールのダイナミクスを抽出・予測する、体系的な機械学習フレームワーク、Learning Effective Dynamics (LED) を導入する。微小スケールのデータを低次元の潜在空間にマッピングし、その時間的変化を学習することで、フルスケールのシミュレーションと比較して数個のオーダーも計算コストを削減しつつ、高精度な長期予測を達成する。

ABSTRACT

Simulations of complex multiscale systems are essential for science and technology ranging from weather forecasting to aircraft design. The predictive capabilities of simulations hinges on their capacity to capture the governing system dynamics. Large scale simulations, resolving all spatiotemporal scales, provide invaluable insight at a high computational cost. In turn, simulations using reduced order models are affordable but their veracity hinges often on linearisation and/or heuristics. Here we present a novel systematic framework to extract and forecast accurately the effective dynamics (LED) of complex systems with multiple spatio-temporal scales. The framework fuses advanced machine learning algorithms with equation-free approaches. It deploys autoencoders to obtain a mapping between fine and coarse grained representations of the system and learns to forecast the latent space dynamics using recurrent neural networks. We compare the LED framework with existing approaches on a number of benchmark problems and demonstrate reduction in computational efforts by several orders of magnitude without sacrificing the accuracy of the system.

研究の動機と目的

• フルスケールのシミュレーションが計算的に非現実的である複雑なマルチスケール系のシミュレーションに取り組むこと。
• 線形化やヒューリスティクスに依存する低次元モデルの限界を克服すること。
• 体系的でデータ駆動型のフレームワークを構築し、マルチスケール系の有効ダイナミクスを抽出・予測すること。
• 最小限の計算リソースで複雑系の高精度な長期予測を可能にすること。
• 高精度なシミュレーションと費用対効果の高い信頼性のある低次元モデル化の間のギャップを埋めること。

提案手法

• 微小スケールのシステム状態から低次元の潜在空間表現への非線形マッピングを学ぶために自己符号化器を用いる。
• 再帰的ニューラルネットワーク（RNN）を用いて潜在空間ダイナミクスの時間的変化を学習・予測する。
• 自己符号化器とRNNのコンponentsを統合し、有効ダイナミクスのエンドツーエンド学習を可能にする統一フレームワークを構築する。
• 明示的な粗いスケール方程式の導出を必要とせずに、シミュレーションベースの推論を可能にする方程式フリーのアプローチを適用する。
• 正確性と一般化能力を保証するため、高精度なシミュレーションから生成されたデータを用いてフレームワークを訓練する。
• 予測精度と計算効率を評価するために、ベンチマークとなるマルチスケール問題を用いてフレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 線形化やヒューリスティクスに依存せずに、データ駆動型フレームワークが複雑なマルチスケール系の有効ダイナミクスを正確に抽出できるか。
• RQ2 自己符号化器とRNNの組み合わせが、マルチスケールシミュレーションにおいて計算コストをどの程度削減しつつ、予測精度を維持できるか。
• RQ3 既存の低次元モデル化手法と比較して、LEDフレームワークはさまざまなベンチマークマルチスケール問題にどの程度一般化できるか。
• RQ4 自己符号化器が学習する潜在空間が、高次元マルチスケール系の本質的ダイナミクス特徴を捉えられるか。
• RQ5 システムの複雑さやノイズレベルの変動に対して、LEDフレームワークのスケーラビリティとロバスト性はどの程度か。

主な発見

• LEDフレームワークは、大幅に削減された計算リソースを用いて、複雑なマルチスケール系の長期的予測を高精度で達成する。
• フルスケールのシミュレーションと比較して、計算作業を数個のオーダーも削減しつつ、高い予測精度を維持する。
• 自己符号化器の使用により、効果的な非線形次元削減が実現され、本質的なシステムダイナミクスが低次元の潜在空間に捉えられる。
• 再帰的ニューラルネットワークは、高い忠実度で潜在ダイナミクスの時間的変化を学習・伝搬するのに成功した。
• 線形化やヒューリスティック仮定に依存する既存の低次元モデル化アプローチを上回る性能を示した。
• 機械学習と方程式フリー手法の統合により、複雑系における有効ダイナミクスのロバストで体系的な発見が可能になった。