[論文レビュー] Learning Stable Deep Dynamics Models for Partially Observed or Delayed Dynamical Systems

Andreas Schlaginhaufen, Philippe Wenk+2 more|arXiv (Cornell University)|Oct 27, 2021

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、安定で部分観測または遅れのある力学系を学習するための、新規のリャプノフ＝ラズミヒン正則化を備えたニューラル遅延微分方程式（NDDEs）を提案する。状態をその履歴で拡張し、ニューラルネットワークベースのリャプノフ＝ラズミヒン関数により安定性を強制することで、希なノイズの多い観測や入力遅れに対しても指数的収束を保証する。これにより、ロバストなシステム同定と安定化フィードバック制御則の学習が可能になる。

ABSTRACT

Learning how complex dynamical systems evolve over time is a key challenge in system identification. For safety critical systems, it is often crucial that the learned model is guaranteed to converge to some equilibrium point. To this end, neural ODEs regularized with neural Lyapunov functions are a promising approach when states are fully observed. For practical applications however, partial observations are the norm. As we will demonstrate, initialization of unobserved augmented states can become a key problem for neural ODEs. To alleviate this issue, we propose to augment the system's state with its history. Inspired by state augmentation in discrete-time systems, we thus obtain neural delay differential equations. Based on classical time delay stability analysis, we then show how to ensure stability of the learned models, and theoretically analyze our approach. Our experiments demonstrate its applicability to stable system identification of partially observed systems and learning a stabilizing feedback policy in delayed feedback control.

研究の動機と目的

• 部分観測または遅れのある力学系に適用された標準的なニューラルODEが示す不安定さと一般化性能の低さを是正すること。
• 力学系の文脈で、未観測の拡張状態を初期化するという、拡張ニューラルODE（ANODEs）における根本的な課題を克服すること。
• リャプノフ＝ラズミヒン手法を用いて、ODEから時間遅れ系へのニューラルリャプノフ関数正則化を拡張すること。
• 入力遅れを伴うシステムにおいて、安定なシステム同定と安定化フィードバック制御則の学習を可能にすること。
• 新規な正則化スキームを用いたNDDEsの理論的安定性保証と実装可能性の両立を提供すること。

提案手法

• 非マルコフ的ダイナミクスをモデル化するため、標準的なニューラルODEをニューラル遅延微分方程式（NDDEs）に変換するために、状態をその過去履歴で拡張する。
• NDDEモデルの指数的安定性を強制するために、ニューラルネットワークベースのリャプノフ＝ラズミヒン関数を導入する。
• リャプノフ＝ラズミヒン定理に基づく正則化損失を設計し、遅れ不変領域内での軌道に沿ったリャプノフ関数の微分が負定値であることを保証する。
• 無限次元の状態空間を扱うために離散化された数値スキームを用い、バックプロパゲーションによる学習を可能にする。
• データ再構成損失と、提案されたリャプノフ＝ラズミヒン正則化損失の両方を組み合わせた損失関数でNDDEを学習する。
• 初期LQRゲインをウォームスタートとして用い、遅れを伴う制御系の安定化フィードバック制御則の学習にフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 標準的なニューラルODEが失敗する部分観測または遅れのある力学系を、履歴拡張状態を備えたNDDEsが効果的にモデル化できるか？
• RQ2 提案されたリャプノフ＝ラズミヒン正則化が、未学習の軌道に対しても学習済みNDDEモデルの指数的安定性を保証するか？
• RQ3 部分観測とノイズの下で、ANODEsと比較してNDDEスティームの安定性と一般化性能は向上するか？
• RQ4 初期制御則が不安定であっても、フレームワークが遅れを伴う制御系の安定化フィードバック制御則を効果的に学習できるか？
• RQ5 ハイパーパrameter α と q が、学習済みダイナミクスの収束速度と安定性に与える影響は何か？

主な発見

• 履歴拡張を施したNDDEモデルは、未観測初期状態の推定を回避できるため、部分観測系において標準的なANODEsを上回る安定性と一般化性能を示した。
• 提案されたリャプノフ＝ラズミヒン正則化により、学習済みダイナミクスの指数的安定性が保証され、新しいテスト軌道に沿ってLRF損失がゼロとなった。これは有効な安定性認証を示している。
• 0.05秒の入力遅れを伴う倒立振子実験では、学習済みフィードバック制御則がシステムを安定化させ、ハイパーパrameter α と q を用いて減衰率を制御可能であった。
• 0.05秒の入力遅れを伴うカートポール実験では、初期LQRコントローラーが不安定であったにもかかわらず、本手法は安定化フィードバック制御則を効果的に学習した。
• ノイズや初期化に強く、複数のテスト軌道において安定なシステム同定が達成された。中央値のテスト損失は0.05–0.95分位数範囲内に収まり、ロバスト性を示した。
• コードと理論的解析は公開されており、他の遅れまたは部分観測力学系への応用のための再現性と拡張性を提供している。