[論文レビュー] Recognition Models to Learn Dynamics from Partial Observations with Neural ODEs

Mona Buisson-Fenet, Valéry Morgenthaler+2 more|arXiv (Cornell University)|May 25, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、非線形オブザーバ理論—特にカザンツィス＝クラヴァリス/ルエンバーガー（KKL）オブザーバ—に基づく認識モデルフレームワークを提案する。このフレームワークにより、部分観測からの物理的解釈可能なダイナミクスをニューラル常微分方程式（NODEs）が学習可能となる。不完全な測定値を潜在状態にマッピングすることで、汎化性能と物理的一致性が向上し、ベースライン認識モデルと比較して一般化誤差が低減した。実世界のロボット外骨格データセットでも優れた性能を示した。

ABSTRACT

Identifying dynamical systems from experimental data is a notably difficult task. Prior knowledge generally helps, but the extent of this knowledge varies with the application, and customized models are often needed. Neural ordinary differential equations can be written as a flexible framework for system identification and can incorporate a broad spectrum of physical insight, giving physical interpretability to the resulting latent space. In the case of partial observations, however, the data points cannot directly be mapped to the latent state of the ODE. Hence, we propose to design recognition models, in particular inspired by nonlinear observer theory, to link the partial observations to the latent state. We demonstrate the performance of the proposed approach on numerical simulations and on an experimental dataset from a robotic exoskeleton.

研究の動機と目的

• すべてのシステム状態が観測されない部分観測からの動的システムの学習という課題に対処すること。
• 物理的事前知識をニューラルODEに統合し、解釈可能性と汎化性能を向上させること。
• 非線形オブザーバ理論を用いて部分観測から潜在状態をマッピングする認識モデルの開発。
• 提案フレームワークの評価を、シミュレーションおよび実世界のロボット外骨格データ上で実施すること。

提案手法

• 物理的解釈可能性を保証するため、運動学的関係（例：ẋ₁ = x₂）などの物理的事前知識を埋め込んだ構造的ニューラルODEを提案する。
• カザンツィス＝クラヴァリス/ルエンバーガー（KKL）オブザーバをインspiredした認識モデルを設計し、部分観測からの潜在状態推定を実現する。
• 比較のため、フィードフォワード型およびRNNベースの認識ネットワークをベースラインとして用いる。
• Adam最適化アルゴリズムを用いてエンドツーエンドの学習を実施し、学習率の段階的低下を適用。入力・出力の正規化を導入して数値的安定性を確保する。
• 構造的事前知識（ダイナミクスの形式を制約）と正則化的事前知識（線形モデルからの残差を学習）を併用し、モデルのロバストネスを評価する。
• 学習済みモデルを用いて拡張カルマンフィルタ（EKF）を適用し、状態推定性能の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 KKLベースの認識モデルは、複雑な動的システムにおいて部分観測からの潜在状態を効果的に再構築できるか？
• RQ2 ニューラルODEに物理的事前知識を組み込むことで、モデルの汎化性能と解釈可能性がどのように向上するか？
• RQ3 直接法、RNN+、KKLの各認識モデルアーキテクチャは、学習安定性、パラメータ効率、テスト性能の観点でどのように比較できるか？
• RQ4 提案手法は、学習範囲外の入力周波数に対してもどれほど一般化可能か？
• RQ5 学習済みモデルは、実世界のロボット外骨格ダイナミクスの予測において、ベースラインの線形事前モデルを上回る性能を示せるか？

主な発見

• KKLベースの認識モデルは、パラメータ数が少ないにもかかわらず、長時間のテストロールアウト（2秒）において、直接法およびRNN+ベースラインと比較して最小の一般化誤差を達成した。
• 学習周波数範囲内での短いテスト軌道（0.2秒）において、構造的事前知識（ẋ₁ = x₂、ẋ₃ = x₄）を有するモデルは、RMSEが0.18にまで低下し、事前モデル（RMSE = 5.6）を著しく上回った。
• 残差モデル設定（線形事前モデルからの補正を学習）では、誤差が高くなった（RMSE = 0.31）ことから、事前モデルの不正確さが性能の制限要因であったことが示された。
• 直接法およびRNN+認識モデルは学習が比較的容易であったが、一般化誤差が高く、パラメータ数も多かったことから、学習のしやすさとロバストネスの間にはトレードオフがあることが示唆された。
• 学習済みモデルを用いたEKFは安定した状態推定を実現し、閉ループ制御用途への適性を裏付けた。
• 観測された入力・出力の統計を用いた正規化により、潜在状態の範囲が未知であっても、学習中の数値的安定性が維持された。