[論文レビュー] Neural Integration of Continuous Dynamics

Margaret Trautner, Sai Ravela|arXiv (Cornell University)|Nov 23, 2019

Model Reduction and Neural Networks参考文献 2被引用数 4

ひとこと要約

本稿では、標準的な数値積分法—明示的ルンゲ・クッタ法および半implicit アダムス・バッシュフォースト・ムルトン法—を用いて連続時間力学系のニューラル統合を実行する、コンactで再帰的な離散時間ニューラルネットワーク（DtNN）を提案する。多項式系の場合、数値積分と正確に等価になることが示され、ローレンツ-63モデルを用いて検証された。

ABSTRACT

Neural dynamical systems are dynamical systems that are described at least in part by neural networks. The class of continuous-time neural dynamical systems must, however, be numerically integrated for simulation and learning. Here, we present a compact neural circuit for two common numerical integrators: the explicit fixed-step Runge-Kutta method of any order and the semi-implicit/predictor-corrector Adams-Bashforth-Moulton method. Modeled as constant-sized recurrent networks embedding a continuous neural differential equation, they achieve fully neural temporal output. Using the polynomial class of dynamical systems, we demonstrate the equivalence of neural and numerical integration.

研究の動機と目的

• 外部の数値ソルバーに依存せずに、完全にニューラル的で再帰的な離散時間ネットワークを構築し、連続力学系の数値統合を実行すること。
• 多項式力学系において、DtNNによるニューラル統合が古典的数値統合と同等の精度を達成することを示すこと。
• 従来のアプローチとは異なり、統合の次数に依存しないままネットワークのサイズが増加しない、コンactで不変なアーキテクチャを維持すること。
• 支配方程式をPolyNetに基づくニューラル回路に埋め込むことで、システムダイナミクスにおける理論誘導学習の基盤を構築すること。
• 外部の数値積分器を一切不要としない、完全にニューラル計算によるエンド・ツー・エンド微分可能なシミュレーションとニューラルODEのトレーニングを可能とし、環境モデリングや適応型システムへの応用を支援すること。

提案手法

• 明示的ルンゲ・クッタ法の導関数計算と数値ステップを1つのニューラル回路に統合した再帰的DtNNを構築する。
• 乗法的ノードを用いて、次数に依存しないアーキテクチャを実現：統合の次数が増加してもネットワークサイズは増加しない。
• 同じ手法を半implicit法に適用するため、2段階のアダムス・バッシュフォースト予測子と2段階のアダムス・ムルトン補正子を1つの再帰的ネットワークに結合する。
• 正確な統合を実現するため、多項式非線形性を有する連続時間ニューラルネットワーク（PolyNets）を、力学系の表現としての基礎とする。
• ニューラル統合プロセスを、再帰ネットワークが出力する離散時間ステップごとの出力の系列として定義する。各出力は解の1ステップを表す。
• ローレンツ-63系において、既知の多項式係数を持つ系で、ニューラル統合と数値統合の収束が機械精度まで一致することを示し、正しさを検証する。

実験結果

リサーチクエスチョン

• RQ1 1つの再帰的離散時間ニューラルネットワークが、古典的ソルバーと同等の精度で連続力学系の数値統合を実行できるか？
• RQ2 提案手法によるニューラル統合は、従来のニューラル回路実装とは異なり、統合の次数に関係なく固定されたネットワークサイズを維持するか？
• RQ3 PolyNetsは、多項式微分方程式で記述される系に対して、どれほど正確なニューラル統合を可能にするか？
• RQ4 カオス的系（例：ローレンツ-63）において、ニューラル統合と標準的数値統合の収束性および数値表現の観点から、どのように比較されるか？
• RQ5 支配方程式が既知であるがパラメータはデータから学習するという文脈において、ニューラル統合がシステムダイナミクスにおける理論誘導学習の基盤として利用可能か？

主な発見

• 提案された再帰的DtNNは、系が多項式の場合に、連続時間力学系の正確なニューラル統合を実行でき、古典的数値統合と等価である。
• ローレンツ-63系において、PolyNetsによるニューラル統合は、機械精度まで数値統合と収束し、数値的正しさが裏付けられた。
• ルンゲ・クッタ法やアダムス・バッシュフォースト・ムルトン法の次数に関係なく、ネットワークサイズが一定のまま維持されるため、スケーラブルでコンパクトな実装が可能である。
• PolyNetsはローレンツ-63系を正確に表現するためにわずか2ノードで十分であるのに対し、標準的なtanh活性化関数を用いたフィードフォワードネットワークでは少なくとも6ノードが必要であり、その効率性が顕著に示された。
• 外部の数値積分器を一切不要とし、完全にニューラル計算によるエンド・ツー・エンド微分可能なニューラルODEのシミュレーションが可能となった。
• 既知の支配方程式をネットワーク構造に埋め込むことで、ブラックボックス型ニューラルネットワークと比較してデータおよびパラメータの必要量を削減する理論誘導学習を支援する。