[論文レビュー] DAN - An optimal Data Assimilation framework based on machine learning Recurrent Networks.

Pierre Boudier, Anthony Fillion+2 more|arXiv (Cornell University)|Oct 19, 2020

Meteorological Phenomena and Simulations参考文献 21被引用数 4

ひとこと要約

本稿では、ノイズの多い観測から力学的システムの状態を最適に再構築および予測するため、再帰的ニューラルネットワークとデータ同化の原則を組み合わせた深層学習フレームワークDANを提案する。トレーニングに軌道スナップショットを用いることで、DANは確率密度関数の解析と伝播を正確にモデル化し、従来のデータ同化手法の理論的性能と同等の結果を達成するが、完全にデータ駆動型である。

ABSTRACT

Data assimilation algorithms aim at forecasting the state of a dynamical system by combining a mathematical representation of the system with noisy observations thereof. We propose a fully data driven deep learning architecture generalizing recurrent Elman networks and data assimilation algorithms which provably reaches the same prediction goals as the latter. On numerical experiments based on the well-known Lorenz system and when suitably trained using snapshots of the system trajectory (i.e. batches of state trajectories) and observations, our architecture successfully reconstructs both the analysis and the propagation of probability density functions of the system state at a given time conditioned to past observations.

研究の動機と目的

• 再帰的ネットワークとデータ同化アルゴリズムの両方を一般化する完全にデータ駆動型の深層学習アーキテクチャを構築すること。
• 明示的なシステムモデルに依存せずに、従来のデータ同化手法と同等の予測精度を達成すること。
• エンド・トゥ・エンドのトレーニングにより、過去の観測に条件づけられたシステム状態の確率密度関数を再構築すること。
• 非線形力学的システムにおける状態の不確実性の解析と伝播をモデル化する能力を示すこと。

提案手法

• フレームワークは、逐次的観測と状態軌道を処理できるように適合された、変更された再帰的エルマンネットワークアーキテクチャに基づく。
• 観測から事後状態分布へのマッピングを学習するために、状態軌道のバッチをトレーニングデータとして使用する。
• 最適データ同化の原則に整合するように制約を課す損失関数を最小化するようにネットワークをトレーニングする。
• メモリ機構を組み込んで、時間ステップ間で不確実性情報を伝播させ、データ同化の解析・予報サイクルを模倣する。
• 軌道データ内の時間的依存関係を活用して、システムのダイナミクスと観測ノイズの特性を学習する。
• 理論的に、ネットワークの予測が古典的手法の最適解に収束することを証明している。

実験結果

リサーチクエスチョン

• RQ1 トレーニングに軌道スナップショットを用いることで、従来のデータ同化手法の最適性能を再現できる深層学習アーキテクチャを設計できるか？
• RQ2 軌道スナップショットでトレーニングされた再帰的ニューラルネットワークは、過去の観測に条件づけられたシステム状態の完全な確率密度関数をどの程度正確に再構築できるか？
• RQ3 完全にデータ駆動型のアプローチが、非線形力学的システムにおいてモデルベースのデータ同化を上回るか、同等の性能を発揮できるか？
• RQ4 再帰的ネットワークがデータ同化の正しい解析および予報ステップを学習できるようにするために、どのようなアーキテクチャ的変更が必要か？
• RQ5 ネットワークが不確実性伝播をモデル化する能力が、最適推定理論からの理論的期待と一致するか？

主な発見

• DANフレームワークは、過去の観測に条件づけられたシステム状態の確率密度関数の解析と伝播を、成功裏に再構築した。
• トレーニングに軌道スナップショットと観測データを用いることで、最適データ同化アルゴリズムと同等の性能を達成した。
• アーキテクチャは、データ同化の数学的構造を学習プロセスに組み込むことで、再帰的エルマンネットワークを一般化した。
• ローレンツ系を用いた検証により、非線形ダイナミクスのモデル化において堅牢であることが示された。
• 理論的分析により、ネットワークの予測が古典的手法の最適解に収束することが確認された。
• この手法により、システムの支配方程式を明示的に知らなくても、状態推定と不確実性伝播のエンド・トゥ・エンド学習が可能になった。