[論文レビュー] Learning Dynamics from Noisy Measurements using Deep Learning with a Runge-Kutta Constraint

Pawan Goyal, Peter Benner|arXiv (Cornell University)|Sep 23, 2021

Model Reduction and Neural Networks参考文献 55被引用数 6

ひとこと要約

本稿では、4次ルンゲ・クッタ数値積分スキームを2つのニューラルネットワーク（1つは暗黙的データ表現、もう1つはベクトル場の学習）と統合したディープラーニングフレームワークを提案する。この手法により、ノイズが多く、疎にサンプリングされた測定値からも、力学系を高精度に再構築できる。ノイズ低減効果が顕著で、20%までの高ノイズレベルや不規則なサンプリング下でも、カウラモト＝シバシンスキー方程式に代表される複雑でカオス的ダイナミクスを効果的に扱い、標準的手法を上回る性能を発揮する。

ABSTRACT

Measurement noise is an integral part while collecting data of a physical process. Thus, noise removal is a necessary step to draw conclusions from these data, and it often becomes quite essential to construct dynamical models using these data. We discuss a methodology to learn differential equation(s) using noisy and sparsely sampled measurements. In our methodology, the main innovation can be seen in of integration of deep neural networks with a classical numerical integration method. Precisely, we aim at learning a neural network that implicitly represents the data and an additional neural network that models the vector fields of the dependent variables. We combine these two networks by enforcing the constraint that the data at the next time-steps can be given by following a numerical integration scheme such as the fourth-order Runge-Kutta scheme. The proposed framework to learn a model predicting the vector field is highly effective under noisy measurements. The approach can handle scenarios where dependent variables are not available at the same temporal grid. We demonstrate the effectiveness of the proposed method to learning models using data obtained from various differential equations. The proposed approach provides a promising methodology to learn dynamic models, where the first-principle understanding remains opaque.

研究の動機と目的

• 高ノイズで疎な測定値から正確な力学モデルを学習するデータ駆動型手法を開発すること。
• 第一原理方程式が不明または取り扱いにくい複雑で非線形なダイナミクスをモデル化する課題に対処すること。
• 数値積分（ルンゲ・クッタ）をディープラーニングフレームワークに直接統合し、物理的整合性を保証するとともに、ノイズに対する耐性を高めること。
• 補間やアライメントを必要とせず、任意の非一様な時間・空間グリッドで収集されたデータから学習できるようにすること。
• ニューラルネットワークと古典的数値スキームを組み合わせたスケーラブルで微分可能フレームワークを提供すること、動的システム同定に用いること。

提案手法

• 2つの独立したディープニューラルネットワークを訓練する：1つはノイズのある測定データの暗黙的表現を学習し、もう1つは力学系のベクトル場を学習する。
• ベクトル場ネットワークの予測が4次ルンゲ・クッタ時間ステッピングスキームを満たすように制約を課すことで、数値的一致性を確保する。
• 損失関数は、次の時間ステップでの予測状態が、ベクトル場推定値を用いたルンゲ・クッタ更新と一致することを強制する。
• 不規則にサンプリングされたデータを扱うために、まず測定値の連続的暗黙的表現を学習し、その後でルンゲ・クッタ統合制約を適用する。
• 偏微分方程式（PDE）における空間的分布型ベクトル場をモデル化するために、畳み込みニューラルネットワーク（CNN）を用いる。例として、バーガース方程式やカウラモト＝シバシンスキー方程式を想定する。
• 明示的なノイズ推定や信号分解を必要とせず、ノイズ低減効果は、統合制約とネットワーク学習から自然に生じる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングフレームワークは、高ノイズで疎な時系列データから、システムの背後にあるダイナミクスを効果的に学習できるか？
• RQ2 特に高ノイズレベル下で、ルンゲ・クッタ統合制約下で訓練されたニューラルネットワークベースのベクトル場推定器は、どの程度の性能を示すか？
• RQ3 提案手法は、カウラモト＝シバシンスキー方程式のようなカオス的システムにおいて、微細構造や一時的挙動をどの程度正確に再構築できるか？
• RQ4 補間やアライメントを必要とせず、任意の非一様な時間・空間点で収集されたデータを処理できるか？
• RQ5 数値積分スキーム（ルンゲ・クッタ）を強制することで、標準的なブラックボックス型ニューラルネットワーク時間ステッピング手法と比較して、一般化性能と耐性が向上するか？

主な発見

• 提案手法は、20%までのノイズを含むバーガース方程式の時空間データを効果的にデノイズし、元のダイナミクスを高い忠実度で回復した。
• 畳み込みニューラルネットワークによるベクトル場推定値は、綺麗なデータに対する差分法で計算された真のベクトル場と非常に近い結果を示し、20%のノイズ下でも同様であった。
• カオス的であるカウラモト＝シバシンスキー方程式において、20%のノイズによって著しく損なわれた微細なダイナミクス的特徴や小スケール構造を、本手法は回復した。
• 不規則なサンプリングに対して高い耐性を示し、補間や前処理を施さずに、非一様な時間・空間グリッドで収集されたデータを効果的に処理できた。
• ルンゲ・クッタ制約の統合により、特にノイズが多い状況下で、標準的なニューラルネットワーク時間ステッピング手法と比較して、モデルの精度と安定性が顕著に向上した。
• 明示的なノイズモデル化や信号分解を必要とせず、物理的一致性を数値スキームが強制することで、正確な再構築とベクトル場推定が達成された。