[論文レビュー] Gradient-free training of neural ODEs for system identification and control using ensemble Kalman inversion

Lucas Böttcher|arXiv (Cornell University)|Jul 15, 2023

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、システム同定および最適制御のためのニューラル常微分方程式（neural ODE）を訓練するために、勾配フリーな最適化手法であるアンサンブルカルマンインバージョン（EKI）の使用を提案する。EKIは、バックプロパゲーションスルータイム（BPTT）と同等の性能を達成し、訓練時間を最大95％短縮しながら、制御タスクにおける平均二乗誤差（MSE）を低く抑え、勾配ベースの手法に対する有効で効率的な代替手法であることが示された。

ABSTRACT

Ensemble Kalman inversion (EKI) is a sequential Monte Carlo method used to solve inverse problems within a Bayesian framework. Unlike backpropagation, EKI is a gradient-free optimization method that only necessitates the evaluation of artificial neural networks in forward passes. In this study, we examine the effectiveness of EKI in training neural ordinary differential equations (neural ODEs) for system identification and control tasks. To apply EKI to optimal control problems, we formulate inverse problems that incorporate a Tikhonov-type regularization term. Our numerical results demonstrate that EKI is an efficient method for training neural ODEs in system identification and optimal control problems, with runtime and quality of solutions that are competitive with commonly used gradient-based optimizers.

研究の動機と目的

• システム同定および最適制御の文脈において、バックプロパゲーションの代替手段としてのアンサンブルカルマンインバージョン（EKI）の有効性を調査すること。
• Tikhonov型正則化を用いた逆問題として最適制御問題を再定式化し、EKIを用いた解法を可能にする。
• 収束速度および解の品質の観点から、EKIがアダムやSGDといった標準的な勾配ベースの最適化手法と比較して、ニューラルODEの訓練においてどのように性能を発揮するかを比較すること。
• EKIが最適制御タスクにおける制御エネルギー正則化を効率的に処理しつつ、高い精度を維持できることを示すこと。

提案手法

• システム同定および最適制御問題を、$ y = G(\theta) + \xi $ の形の逆問題として定式化する。ここで $ \theta $ はニューラルODEのパラメータ、$ y $ は観測データである。
• 連続時間のアンサンブルカルマンインバージョン（EKI）を適用し、バックプロパゲーションを回避するために、ニューラルODEの前方評価に基づいて、パラメータ集合のアンサンブル $ \{\theta^{(j)}\} $ を反復的に更新する。
• 最適制御問題における高い制御エネルギーを抑えるために、損失関数にTikhonov型正則化項を組み込む。これにより、滑らかな制御信号が得られる。
• 正則化項を考慮したEKI更新式を導出し、勾配フリーな方法で最適制御問題を解けるようにする。
• Schillings & Stuart (2017) が導出したEKIの連続時間極限を用いて、アンサンブルの時間的変化をモデル化し、共分散および共分散推定に基づく更新を行う。
• ベンチマークとしてのシステム同定および制御タスクにおいて、EKIとBPTTベースの最適化（アダムおよびSGD）を実装・比較する。

実験結果

リサーチクエスチョン

• RQ1 EKIは勾配計算を必要とせずに、システム同定タスクにおけるニューラルODEの訓練を効果的に行えるか？
• RQ2 収束速度および解の正確さの観点から、EKIの性能は、アダムやSGDといった勾配ベースの最適化手法と比べてどうなるか？
• RQ3 EKIは勾配フリーなアプローチを用いて、制御エネルギー正則化付きの最適制御問題を解けるように適応可能か？
• RQ4 正則化パラメータ $ \mu $ が、EKIベースの最適制御における学習済みの制御および状態軌道に与える影響は何か？
• RQ5 BPTTベースの手法と比較して、EKIは制御関数の近似においてより低い平均二乗誤差（MSE）を達成するか？

主な発見

• EKIは最適制御タスクにおいて、平均二乗誤差（MSE）が 0.4–0.6 × 10⁻³ を達成し、BPTTベースのアダム最適化が達成した 1–1.4 × 10⁻³ の約50％低い水準であった。
• EKIはわずか 4–5 オプティマイゼーションエポックで安定解に収束したが、BPTTベースのアダムは安定化するまでに約 90–100 エポックを要した。
• EKIベースの手法は、1秒間に約1ステップの訓練速度を達成したのに対し、アダムは1秒間に約10ステップを達成した。これは、反復回数が少ないにもかかわらず、壁時計時間の大幅な短縮を示している。
• 図3における可視化比較から、EKIで学習された制御関数およびシステム状態軌道が、真値と非常に近い近似を達成していることが示された。
• 正則化パラメータ $ \mu $ は、学習済みの制御信号に顕著な影響を及ぼし、低い値ではより攻撃的な制御行動が得られ、高い値では滑らかでエネルギー効率の良い制御が得られた。
• EKIは線形および非線形のシステム同定タスクの両方で一貫した性能を示し、動的複雑性に対して高いロバストネスを示した。