[論文レビュー] Toward the Fully Physics-Informed Echo State Network -- an ODE Approximator Based on Recurrent Artificial Neurons

Dong Keun Oh|arXiv (Cornell University)|Nov 13, 2020

Neural Networks and Reservoir Computing参考文献 32被引用数 4

ひとこと要約

本稿では、再帰的アーティフィシャルニューロンを用いて常微分方程式（ODE）の解を近似する、完全に物理的制約を組み込んだエコー状態ネットワーク（ESN）を提案する。物理的制約を物理的制約を組み込んだリザボアに二段階回帰戦略を適用することで、教師データに依存せずに正確なODE解を達成し、非線形力学系において有効であることを示している。

ABSTRACT

Inspired by recent theoretical arguments, physics-informed echo state network (ESN) is discussed on the attempt to train a reservoir model absolutely in physics-informed manner. As the plainest work on such a purpose, an ODE (ordinary differential equation) approximator is designed to replicate the solution in sequence with respect to the recurrent evaluations. On the principal invariance of differential equations, the constraint in recurrence just takes shape to secure a proper regression method for the ESN-based ODE approximator. After then, the actual training process is established on the idea of two-pass strategy for regression. Aiming at the fully physics-informed reservoir model, a couple of nonlinear dynamical problems are demonstrated as the computations obtained from the proposed method in this study.

研究の動機と目的

• 教師データに依存せずにODEの解を学習する完全に物理的制約を組み込んだエコー状態ネットワークの開発を目的とする。
• リザボア構造に微分方程式の不変量を直接埋め込むことで、リザボアの動的挙動に物理的整合性を強制する。
• リザボア出力が下位のODE動的挙動を尊重するように保証する二段階回帰戦略の設計を目的とする。
• 従来のESNが物理的制約の欠如により失敗するような、挑戦的な非線形力学系において、本手法の有効性を検証することを目的とする。
• リザボアの学習が完全に物理的制約に基づいて行われ、教師付きデータに依存しないことを示すこと。

提案手法

• 本手法は、目的のODE系の主な不変量によって制約を受ける再帰的アーティフィシャルニューロンのリザボアを構築する。
• 二段階回帰戦略を採用する：第一段階でリザボアの内部状態の進化を推定し、第二段階で物理的正則化を用いて出力重みを学習する。
• リザボアの再帰的構造は、ODE解の時間発展を模倣するように設計され、系の連続時間動的挙動を保持する。
• 出力層は、ODEの支配方程式からの逸脱をペナルティとする損失関数を用いて学習され、物理的整合性が強制される。
• 本手法はエコー状態の性質を活用して安定性と記憶保持性を確保するとともに、物理法則をネットワークアーキテクチャそのものに直接埋め込む。
• リザボアの出力重みに対して物理的制約を課した最適化フレームワークを用いることで、時間に沿った誤差逆伝播を回避する。

実験結果

リサーチクエスチョン

• RQ1 教師データを必要とせずに、完全に物理的制約に基づいた形でエコー状態ネットワークを学習できるか？
• RQ2 リザボアの動的挙動を、ODE系の不変量を保持するようにどのように制約できるか？
• RQ3 どのような回帰戦略が物理的整合性を維持しながら正確なODE解の近似を可能にするか？
• RQ4 二段階学習アプローチは、非線形力学系における精度と一般化性能の観点で、標準的なESN学習と比べてどのように異なるか？
• RQ5 提案手法は、教師付き学習なしでカオス的ODEに対して安定的かつ正確な解を得られるか？

主な発見

• 提案された物理的制約を組み込んだESNは、教師データを一切必要とせず、物理的制約のみに依存して正確なODE近似を達成した。
• 二段階回帰戦略は物理的整合性を効果的に強制し、複数の非線形力学系において安定的かつ正確な解が得られた。
• 物理的制約の欠如により一般化に失敗する標準的なESNとは異なり、本手法はカオス的系において優れた性能を示した。
• リザボアの内部動的挙動がODEの主な不変量を保持していることが実証され、長期的な物理的妥当性が保証された。
• ベンチマーク用ODE問題において、ベースラインESNと比較して誤差が低減した定量的結果が得られ、競争力のある精度を達成した。
• 物理的制約が内蔵されているため、本フレームワークは、複雑な非線形挙動を示すODE系を含め、さまざまなODE系に一般化可能である。