[論文レビュー] On Learning the Dynamical Response of Nonlinear Control Systems with Deep Operator Networks

Guang Li, Christian Moya+1 more|arXiv (Cornell University)|Jun 14, 2022

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿では、時間依存入力を伴う非線形で非同次な制御系の長期的ダイナミクス応答を学習するためのDeepONetベースのフレームワークを提案する。局所的な解作用素を近似するように訓練されたDeepONetを、データ駆動型ルンゲ＝クッタ法と組み合わせて逐次的に適用することで、複雑な軌道の高精度かつデータ効率の良い予測が可能になる。予測性能は捕食者・被捕食者系、振り子、カート・ポール、電力系統モデルの4つの系で実証され、小規模なデータセットでも相対$L_2$誤差が1.1%未満に抑えられた。

ABSTRACT

We propose a Deep Operator Network~(DeepONet) framework to learn the dynamic response of continuous-time nonlinear control systems from data. To this end, we first construct and train a DeepONet that approximates the control system's local solution operator. Then, we design a numerical scheme that recursively uses the trained DeepONet to simulate the control system's long/medium-term dynamic response for given control inputs and initial conditions. We accompany the proposed scheme with an estimate for the error bound of the associated cumulative error. Furthermore, we design a data-driven Runge-Kutta~(RK) explicit scheme that uses the DeepONet forward pass and automatic differentiation to better approximate the system's response when the numerical scheme's step size is sufficiently small. Numerical experiments on the predator-prey, pendulum, and cart pole systems confirm that our DeepONet framework learns to approximate the dynamic response of nonlinear control systems effectively.

研究の動機と目的

• 複雑なダイナミカルシステムにおける制御や最適化のための高精度数値シミュレーションの計算コストを低減すること。
• 従来のニューラルネットワークが小規模データセットで過学習や誤差蓄積を起こすという限界を克服すること。
• 出力の離散化を伴わずに非同次ダイナミカルシステムの解作用素を直接近似するデータ駆動型の作用素学習フレームワークを構築すること。
• 限られた学習データで中～長期の時間スケールにわたり、高精度な再帰的予測を可能にすること。
• DeepONetをデータ駆動型ルンゲ＝クッタ（RK）スキームと統合し、微小な時間刻みでの精度を向上させること。

提案手法

• 本手法は、初期条件と時間依存入力を、小さな時間間隔におけるシステムの状態軌道への局所的解作用素として近似するようにDeepONetを訓練する。
• 訓練されたDeepONetを連続する時間ステップにわたり再帰的に適用することで、長期間・中期間のシステム応答をシミュレートする。
• 再帰的予測スキームにおける累積誤差の理論的誤差境界を導出する。
• DeepONetの順方向計算と自動微分を活用してベクトル場を推定するデータ駆動型ルンゲ＝クッタ（RK）スキームを提案し、微小ステップサイズでの精度を向上させる。
• 本フレームワークは、非同次系および同次系を含む、カオス的系や電力系統などの実世界の工学的応用に適用可能である。
• 学習データセットは、補間されたセンサデータと数値シミュレーションからの時系列軌道を用いて構築され、入力には初期状態、時間依存入力、サンプリング位置が含まれる。

実験結果

リサーチクエスチョン

• RQ1 DeepONetは、時間依存入力を伴う非線形で非同次なダイナミカルシステムの解作用素を、長期予測に適した形で効果的に学習できるか？
• RQ2 訓練済みDeepONetを再帰的に適用した場合、ベースライン手法と比較して、長期間の時間スケールにおける精度と誤差蓄積の程度はいかがなっているか？
• RQ3 DeepONetの順方向計算と自動微分を活用するデータ駆動型ルンゲ＝クッタスキームは、微小時間刻みでの予測精度を向上させられるか？
• RQ4 本手法は、限られた学習データで性能を発揮するか。特に、従来のモデルが過学習やズレを起こす状況下でも有効か？
• RQ5 本フレームワークは、現実の摂動を伴う電力網や流体動力学のような複雑な工学的システムへ拡張可能か？

主な発見

• 提案された再帰的DeepONetフレームワークは、3万件の小規模な学習データセットを用いても、100件のテスト軌道において平均$L_2$相対誤差が1.1%未満に抑えられた。
• 比較対象のベンチマーク（先行するニューラルネットワーク手法およびアンサンブルベースの手法）の中では、再帰的DeepONetのみが、挑戦的な周期的解軌道を効果的に捉えていた。
• データ駆動型ルンゲ＝クッタスキームは、DeepONetの順方向計算と自動微分を活用してベクトル場を推定することで、微小時間刻みでの精度を顕著に向上させた。
• 本フレームワークは、0.01秒の不具合を伴う2エリア電力系統の動的応答を、5秒間にわたり角度および速度状態を的確に追跡して予測した。
• 再帰的スキームにおける累積誤差の理論的誤差境界が導出され、検証された。これにより、長期予測の信頼性が保証された。
• 本手法は、データ効率性と安定性の面で既存手法を上回り、特にデータ収集が高コストな実世界の工学的システムに適している。