[論文レビュー] Deep learning of dynamics and signal-noise decomposition with time-stepping constraints

Samuel Rudy, Nathan Kutz+1 more|arXiv (Cornell University)|Aug 7, 2018

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本論文では、ルンゲ・クッタ時間ステッピング構造内にニューラルネットワークを埋め込むことで、動的システムにおける力学的挙動と測定ノイズを同時に学習する深層学習フレームワークを提案する。時間積分制約を課すことにより、限られた、ノイズが混入している、または不規則にサンプリングされたデータからでも、真のベクトル場を正確に再構築でき、従来の手法と比較して、ロバスト性と予測精度が著しく向上する。

ABSTRACT

A critical challenge in the data-driven modeling of dynamical systems is producing methods robust to measurement error, particularly when data is limited. Many leading methods either rely on denoising prior to learning or on access to large volumes of data to average over the effect of noise. We propose a novel paradigm for data-driven modeling that simultaneously learns the dynamics and estimates the measurement noise at each observation. By constraining our learning algorithm, our method explicitly accounts for measurement error in the map between observations, treating both the measurement error and the dynamics as unknowns to be identified, rather than assuming idealized noiseless trajectories. We model the unknown vector field using a deep neural network, imposing a Runge-Kutta integrator structure to isolate this vector field, even when the data has a non-uniform timestep, thus constraining and focusing the modeling effort. We demonstrate the ability of this framework to form predictive models on a variety of canonical test problems of increasing complexity and show that it is robust to substantial amounts of measurement error. We also discuss issues with the generalizability of neural network models for dynamical systems and provide open-source code for all examples.

研究の動機と目的

• 測定値にノイズが混入している場合やデータが限られている場合に、データ駆動型の動的システムモデリングの課題に対処すること。
• 事前ノイズ除去や大規模データセットを必要とせず、同時に真の力学的挙動と測定ノイズを学習するフレームワークを開発すること。
• ニューラルネットワークをルンゲ・クッタ時間積分器構造に埋め込むことで、モデルのロバスト性と一般化性能を向上させること。
• 非一様にサンプリングされたデータからでも、正確な予測とベクトル場再構築を可能にすること、特に高いノイズレベル下でも有効であること。
• 物理的制約を組み込んだ深層学習を用いた、柔軟で解釈可能で再現可能なシステム同定のアプローチを提供すること。

提案手法

• 未知の連続的動的システムのベクトル場を表現するために深層ニューラルネットワークを用いる。
• 古典的なルンゲ・クッタ時間積分スキーム内にネットワークを埋め込み、物理的整合性を保ち、ノイズからのベクトル場の分離を実現する。
• トレーニング中に同定すべき未知の変数として、ベクトル場と測定ノイズの両方を明示的に扱う。
• 非一様なタイムステップに対しても、予測された軌道が数値積分スキームに従うように、時間ステッピング制約を適用する。
• 損失関数は、予測された状態と観測された状態の差を最小化するが、測定プロセスにおけるノイズを考慮する。
• 不規則な間隔のデータに対応でき、長時間の1つの軌道、または一時的な遷移を含む複数の短い軌道からの学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 事前ノイズ除去を一切行わず、ノイズ混入した測定データから、真の力学的挙動と測定ノイズを同時に学習できるか？
• RQ2 ルンゲ・クッタ時間ステッピング構造を強制することで、ノイズやデータスパarsityに対するロバスト性がどの程度向上するか？
• RQ3 一時的な遷移を含む1つの長時間軌道は、複数の短い軌道と比較して、どの程度高い精度で真のベクトル場を再構築できるか？
• RQ4 学習データで十分にカバーされていない状態空間の領域への一般化性能はどの程度か？
• RQ5 高ノイズ下でも、標準的なニューラルネットワークモデルに比べて、この制約付き学習アプローチが予測とシステム同定において優れているか？

主な発見

• 5%の測定ノイズ下でも、真のベクトル場の再構築が正確に達成され、単一の長時間軌道での学習にのみ依存するモデルと比べて顕著に優れている。
• 一時的遷移を含む複数の短い軌道からの学習は、単一の長時間軌道からの学習よりも、より正確で一般化性能に優れたモデルをもたらす。特にアトラクタから離れた領域で顕著である。
• モデルは測定ノイズと真の力学的挙動を効果的に分離でき、高いノイズレベル下でもロバストな予測が可能である。
• 異なるアーキテクチャのニューラルネットワークは、流体流れの例ではすべて正しいリミットサイクルに収束するが、元の径対称性を回復できないため、単一の軌道からの一般化には限界がある。
• 制約付き学習フレームワークにより、スパースでノイズの多いデータからも信頼できるシステム同定が可能となり、標準的なブラックボックスモデルに比べて性能が向上する。
• オープンソースのコード（RKNN）により、再現性が確保され、今後のデータ駆動型システム同定分野の研究を促進する。