[論文レビュー] Polynomial Neural Networks and Taylor maps for Dynamical Systems Simulation and Learning

Andrei Ivanov, Anna Golovkina+1 more|arXiv (Cornell University)|Dec 19, 2019

Model Reduction and Neural Networks参考文献 25被引用数 5

ひとこと要約

この論文では、常微分方程式（ODE）に従う力学系をシミュレートおよび学習するために、テイラー写像から導出された多項式ニューラルネットワーク（PNN）を提案する。ODEから直接ネットワーク重みを計算することで、再訓練を必要とせず、多様な初期条件において高速かつ高精度なシミュレーションが可能になる。一方、データ駆動型の学習により物理的性質を保持し、学習データを超えて外挙げ可能となる。

ABSTRACT

The connection of Taylor maps and polynomial neural networks (PNN) to solve ordinary differential equations (ODEs) numerically is considered. Having the system of ODEs, it is possible to calculate weights of PNN that simulates the dynamics of these equations. It is shown that proposed PNN architecture can provide better accuracy with less computational time in comparison with traditional numerical solvers. Moreover, neural network derived from the ODEs can be used for simulation of system dynamics with different initial conditions, but without training procedure. On the other hand, if the equations are unknown, the weights of the PNN can be fitted in a data-driven way. In the paper we describe the connection of PNN with differential equations in a theoretical way along with the examples for both dynamics simulation and learning with data.

研究の動機と目的

• 多項式ODEの構造を直接に埋め込むニューラルネットワークアーキテクチャを構築し、力学系の効率的シミュレーションを実現すること。
• ODE系から解析的にPNN重みを導出し、初期条件に依存しない一回の計算で、再訓練なしに任意の初期条件におけるODE動的挙動の高精度なシミュレーションを可能にすること。
• 基礎となるODEが不明な状況でも、PNNを用いたデータ駆動型学習により、物理的整合性を保った動的システムの学習を実現すること。
• 実世界の問題、例えばバッテリ電圧ダイナミクスやヴァン・デル・ポール発振子に適用するPNNのトレーニングに、QUBOに基づく正則化を導入すること。
• テイラー写像、多項式ニューラルネットワーク、力学系理論の間の理論的かつ実用的な接続を確立すること。

提案手法

• PNNアーキテクチャはテイラー写像として構築される：$\mathbf{X}(t_1) = W_0 + W_1 \mathbf{X}_0 + W_2 \mathbf{X}_0^{[2]} + \dots + W_k \mathbf{X}_0^{[k]}$、ここで$W_i$はODE系から導出された重み行列である。
• 重み$W_i$は、ODEの多項式右辺を用いた解のテイラー級数展開により直接計算され、初期条件に依存しない一回の計算で可能となる。
• データ駆動型学習では、状態軌道の入出力ペアを用いてPNNをエンドツーエンドでトレーニングし、物理的制約を保つためにQUBOに基づく正則化が適用される。
• ODEが既知の場合は物理的制約を組み込んだシミュレーションが可能で、未知の場合はデータ駆動型モデリングが可能であり、両者に同一のPNN構造が使用可能である。
• PNNは、ストレージリング、偏向ダイナミクス、バーガース方程式、バッテリ電圧減衰といった系のシミュレーションに適用され、数値的求解法との比較による検証が行われた。
• 2次および5次といった異なる次数のレイヤードテイラー写像を用いて、複雑な非線形ダイナミクスをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 ODEから導出されたPNNは、ルンゲ・クッタ法などの従来の数値的求解法よりも高い精度と低い計算コストを達成できるか？
• RQ2 ODEから重みを計算したPNNは、初期条件が変化しても再訓練なしにシステムの挙動をシミュレートできるか？
• RQ3 データ駆動型で学習されたPNNは、非負性や有界性といった力学系の物理的性質を保持できるか？
• RQ4 QUBOに基づく正則化は、データ駆動型PNNの物理的整合性と一般化性能を向上させるのにどの程度有効か？
• RQ5 特にODEが既知の系において、PNNは学習データ分布を超えてどれほど外挙げできるか？

主な発見

• ODEから計算されたPNNは、ルンゲ・クッタ法などの従来の求解法と同等またはそれ以上の精度を達成し、著しく低い計算時間で実行できる。
• PNNアーキテクチャは、重みが$\mathbf{X}_0$に依存しないため、再訓練なしに任意の初期条件におけるダイナミクスのシミュレーションが可能である。
• バッテリ電圧データに基づくデータ駆動型PNNは、長期的な挙動を的確に予測し、非負の電圧レベルといった物理的制約を保持している。
• ヴァン・デル・ポール発振子およびバーガース方程式のデータに基づくPNNは、QUBO正則化を用いてトレーニングされ、良好な一般化性能を示し、システムの安定性と物理的整合性を維持している。
• PNNアプローチは、標準的なMLPやLSTMよりも外挙げ性能に優れており、これらのモデルは学習データを記憶する傾向があるが、一般化されたダイナミクスを学習しない。
• 本手法は、粒子ビームダイナミクスや電気化学的システムを含む実世界の問題への適用が可能であり、複数の分野で検証されたシミュレーションが得られている。