[論文レビュー] Bilinear residual Neural Network for the identification and forecasting of dynamical systems

Ronan Fablet, Said Ouala+1 more|arXiv (Cornell University)|Dec 19, 2017

Model Reduction and Neural Networks参考文献 8被引用数 20

ひとこと要約

本稿では、ルンゲ＝クッタ積分スキームをグラフィカルな残差ネットワークとして解釈し、双線形層を用いて内在的な非線形性を埋め込むことで、未知の常微分方程式（ODE）に従う力学系をモデル化・予測する二重線形残差ニューラルネットワーク（Bi-NN）を提案する。この手法は、ローレンツ-63、ローレンツ-96、オレゴネーター系において、スパース回帰や標準的なニューラルネットワークよりも優れたパラメータ推定および顕在的力学の再構築性能を達成する。

ABSTRACT

Due to the increasing availability of large-scale observation and simulation datasets, data-driven representations arise as efficient and relevant computation representations of dynamical systems for a wide range of applications, where model-driven models based on ordinary differential equation remain the state-of-the-art approaches. In this work, we investigate neural networks (NN) as physically-sound data-driven representations of such systems. Reinterpreting Runge-Kutta methods as graphical models, we consider a residual NN architecture and introduce bilinear layers to embed non-linearities which are intrinsic features of dynamical systems. From numerical experiments for classic dynamical systems, we demonstrate the relevance of the proposed NN-based architecture both in terms of forecasting performance and model identification.

研究の動機と目的

• 未知のODEに従う力学系をモデル化・予測するためのデータ駆動型で物理的に整合性のあるニューラルネットワークアーキテクチャの開発。
• 残差ネットワークフレームワーク内に双線形層を導入し、力学系に内在する非線形性を埋め込むこと。
• スパース回帰や標準的なニューラルネットワークといった最先端手法と比較して、予測精度およびモデル同定性能の向上。
• 高次元の観測時系列から低次元の顕在的力学を同定可能にする。
• 古典的数値積分スキーム（例：ルンゲ＝クッタ）を、エンド・ツー・エンド学習を可能にする残差ニューラルネットワークアーキテクチャとして再解釈すること。

提案手法

• 4次ルンゲ＝クッタ法を、各層が共通の演算子Fを適用し、固定または学習可能な係数αiおよびβiを用いる4層の残差ニューラルネットワークに再定式化する。
• ローレンツやオレゴネーターのような系に内在する非線形力学を捉えるために、共通ブロックF内に双線形層を導入し、表現能力を向上させる。
• 系の時系列データを用いて、演算子Fおよび可能であれば学習可能な係数αiとβiをエンド・ツー・エンドで学習する。
• 残差アーキテクチャを活用し、長期予測およびシステム同定における安定した学習と一般化性能の向上を実現する。
• 線形マッピングを用いて、高次元観測から低次元の顕在的力学を再構築する。この再構築は回転行列を除いて一意である。
• 数値積分のグラフィカルモデル解釈を活用し、物理的に解釈可能なニューラルアーキテクチャの設計を支援する。

実験結果

リサーチクエスチョン

• RQ1 ルンゲ＝クッタ積分スキームは、力学系の学習を目的とした残差ニューラルネットワークアーキテクチャとして効果的に再解釈可能か？
• RQ2 残差ネットワーク内に双線形層を導入することで、標準的な全結合層や畳み込み層と比較して、カオス的力学系に内在する非線形性をよりよく捉えることができるか？
• RQ3 提案された二重線形残差ニューラルネットワークは、スパース回帰や標準的なニューラルネットワークよりも、未知のODEの予測および同定において優れた性能を示すか？
• RQ4 モデルは高次元観測データから低次元のカオス的力学を効果的に再構築できるか？
• RQ5 学習されたニューラルネットワーク表現は、元の力学系の物理的構造および長期的挙動をどの程度保持するか？

主な発見

• Bi-NN(4)-SLモデルは、ローレンツ-63のパラメータ推定において、MSE = 0.0239という最小の平均二乗誤差を達成し、スパース回帰（SR）およびNi-NN(1)を上回った。
• ローレンツ-63系において、Bi-NN(4)-SLモデルはt₀+2hで予測誤差0.035、t₀+4hで0.038を達成し、ベースライン手法と比べ顕著に低い誤差を示した。
• Bi-NN(1)モデルは、5次元の観測系からローレンツ-63の顕在的3次元カオス的アトラクタを成功裏に再構築し、再構築誤差は3×3回転行列と整合的であった。
• ローレンツ-63系において、予測が8時間先まで安定して低誤差を維持し、カオス的感度にもかかわらず誤差増大が抑制された。
• 双線形アーキテクチャにより、標準的なニューラルネットワークと比較して、真のODE構造の同定性能が向上し、パラメータ推定およびアトラクタ再構築の両面で優れた結果が得られた。
• ノイズを含む高次元時系列に対しても安定した学習と一般化性能を示し、実世界の力学系モデリングに適していることが確認された。