[論文レビュー] Continuous-time identification of dynamic state-space models by deep subspace encoding

Gerben I. Beintema, Maarten Schoukens+1 more|arXiv (Cornell University)|Apr 20, 2022

Fault Detection and Control Systems被引用数 6

ひとこと要約

本稿では、短いデータ部分列、初期状態推定のためのエンコーダーネットワーク、および状態微分ノーマライゼーションを活用することで、標本効率とロバスト性を向上させる、深層部分空間符号化を用いた連続時間非線形状態空間モデル同定手法であるSUBNETを提案する。この手法は、CCT、CED、EMPSといったベンチマークで、物理的制約を含まないコンactな全結合ネットワークを用いて最先端の性能を達成しており、ノイズ、潜在状態、外部入力が存在する状況でも最適化の安定性と正確な長期予測を保証する。

ABSTRACT

Continuous-time (CT) modeling has proven to provide improved sample efficiency and interpretability in learning the dynamical behavior of physical systems compared to discrete-time (DT) models. However, even with numerous recent developments, the CT nonlinear state-space (NL-SS) model identification problem remains to be solved in full, considering common experimental aspects such as the presence of external inputs, measurement noise, latent states, and general robustness. This paper presents a novel estimation method that addresses all these aspects and that can obtain state-of-the-art results on multiple benchmarks with compact fully connected neural networks capturing the CT dynamics. The proposed estimation method called the subspace encoder approach (SUBNET) ascertains these results by efficiently approximating the complete simulation loss by evaluating short simulations on subsections of the data, by using an encoder function to estimate the initial state for each subsection and a novel state-derivative normalization to ensure stability and good numerical conditioning of the training process. We prove that the use of subsections increases cost function smoothness together with the necessary requirements for the existence of the encoder function and we show that the proposed state-derivative normalization is essential for reliable estimation of CT NL-SS models.

研究の動機と目的

• 測定ノイズ、潜在状態、外部入力、不規則なサンプリングが存在する現実的な条件下における連続時間（CT）非線形状態空間（NL-SS）モデル同定の課題に対処すること。
• 全系列学習を短い部分列に削減し、学習された初期状態推定を用いることで、CTモデル学習における計算効率と最適化の安定性を向上させること。
• 部分列とノーマライゼーションの使用に関する理論的基盤を確立し、滑らかなコスト関数と安定した学習を保証すること。
• 物理的制約を含まない、実世界のベンチマーク（CCT、CED、EMPS）において最先端の性能を達成すること。
• 適切なノーマライゼーションと符号化を備えた単純な全結合ニューラルネットワークが、より複雑で構造化されたモデルを上回る性能を連続時間システム同定で達成できることを示すこと。

提案手法

• 計算コストの低減と最適化の安定性の向上を目的として、全データセットの短い重複のない部分列を用いる。
• 各部分列の初期潜在状態を推定するエンコーダーネットワークを導入し、局所的なシミュレーションと学習を可能にする。
• 状態と状態微分のスケールをバランスさせるために、状態微分ノーマライゼーション項 $ \dot{x} = \frac{1}{\tau} f_\theta(x,u) $ を導入し、数値的条件の改善と学習の安定性を向上させる。
• コスト関数はこれらの部分列上で計算され、部分列戦略の下でリプシッツ連続性解析を用いてその滑らかさを理論的に証明する。
• システムダイナミクスとデータに特定の正則性条件が存在する場合、エンコーダー関数の存在が必要であることが示される。
• ハミルトニアンやシンプレクティックなインダクティブバイアスなどの構造的事前知識を避けることで、多様なシステムへの一般適用性を実現する。

実験結果

リサーチクエスチョン

• RQ1 測定ノイズ、潜在状態、外部入力が存在する状況下で、連続時間非線形状態空間モデルをどのように効率的かつロバストに同定できるか？
• RQ2 短いデータ部分列の使用が、CTモデル学習におけるコスト関数の滑らかさと最適化の安定性に与える理論的影響は何か？
• RQ3 部分列ベースの学習において、初期状態を信頼性高く推定するエンコーダー関数が存在するための必要条件は何か？
• RQ4 連続時間ニューラルODEにおける安定的かつ正確な推定を実現するために、状態微分ノーマライゼーションがなぜ不可欠なのか？
• RQ5 構造的事前知識を含まない単純な全結合ネットワークが、CTシステム同定で最先端の性能を達成できるか？

主な発見

• SUBNETはCCTベンチマーク（RMSE 0.022）とCEDベンチマーク（RMSE 0.018）で、ニューラルODEやdynoNETを含む既存手法を上回る最先端のRMSEを達成した。
• EMPSベンチマークでは、テストセットでRMSEが0.034に留まり、T=200の部分列のみを用いて24,841サンプルにわたる長期予測の正確性を示した。
• 実験的結果から、$ \Delta t / \tau \approx 1 $ と設定すると $ \text{RMS}(x) \approx \text{RMS}(f) \approx 1 $ となり、これが最小のRMSEと相関することが確認され、理論的ノーマライゼーション要件の妥当性が裏付けられた。
• 不適切なノーマライゼーション（例：$ \tau = 1 $）は著しく性能を低下させ、CCTとCEDのRMSEがそれぞれ2.0と0.3に上昇し、ノーマライゼーション項の必要性が確認された。
• 1台のコンsumerラップトップ上での1モデルあたりの学習時間はたった15分で、ニューラルODEの2時間、より複雑なEMPSデータセットの10時間に比べて顕著に高速であった。
• 部分列の使用により、リプシッツ連続性解析によって証明されたコスト関数の滑らかさが向上し、最適化の安定性と収束性が向上した。