[论文解读] Continuous-time identification of dynamic state-space models by deep subspace encoding

Gerben I. Beintema, Maarten Schoukens+1 more|arXiv (Cornell University)|Apr 20, 2022

Fault Detection and Control Systems被引用 6

一句话总结

本文提出 SUBNET，一种新颖的连续时间非线性状态空间模型识别方法，通过深度子空间编码实现，利用短数据子段、初始状态估计的编码器网络以及状态导数归一化，提升了样本效率和鲁棒性。该方法在 CCT、CED 和 EMPS 等基准测试中实现了最先进性能，采用紧凑的全连接网络，同时确保优化稳定性与在噪声、隐状态和外部输入下的准确长期预测。

ABSTRACT

Continuous-time (CT) modeling has proven to provide improved sample efficiency and interpretability in learning the dynamical behavior of physical systems compared to discrete-time (DT) models. However, even with numerous recent developments, the CT nonlinear state-space (NL-SS) model identification problem remains to be solved in full, considering common experimental aspects such as the presence of external inputs, measurement noise, latent states, and general robustness. This paper presents a novel estimation method that addresses all these aspects and that can obtain state-of-the-art results on multiple benchmarks with compact fully connected neural networks capturing the CT dynamics. The proposed estimation method called the subspace encoder approach (SUBNET) ascertains these results by efficiently approximating the complete simulation loss by evaluating short simulations on subsections of the data, by using an encoder function to estimate the initial state for each subsection and a novel state-derivative normalization to ensure stability and good numerical conditioning of the training process. We prove that the use of subsections increases cost function smoothness together with the necessary requirements for the existence of the encoder function and we show that the proposed state-derivative normalization is essential for reliable estimation of CT NL-SS models.

研究动机与目标

• 解决在测量噪声、隐状态、外部输入和非均匀采样等现实条件下，连续时间（CT）非线性状态空间（NL-SS）模型识别的挑战。
• 通过将完整序列训练简化为短子段并引入学习的初始状态估计，提升 CT 模型学习的计算效率与优化稳定性。
• 为子段使用与归一化在 CT 建模中的应用建立理论基础，确保损失函数平滑与训练稳定。
• 在真实世界基准（CCT、CED、EMPS）上实现最先进性能，且无需依赖物理信息的结构约束。
• 证明仅使用简单全连接神经网络，配合适当的归一化与编码，即可在连续时间系统识别中超越更复杂、结构化的模型。

提出的方法

• 该方法使用完整数据集的短、非重叠子段，以降低计算成本并提升优化稳定性。
• 通过编码器网络为每个子段估计初始隐状态，实现局部化模拟与训练。
• 引入状态导数归一化项 $ \dot{x} = \frac{1}{\tau} f_\theta(x,u) $，以平衡状态与状态导数的尺度，提升数值条件与训练稳定性。
• 在这些子段上计算损失函数，并通过子段策略下的利普希茨连续性分析，理论上证明其平滑性。
• 在系统动力学与数据满足特定正则性条件时，证明编码器函数存在的必要性。
• 该方法避免使用结构先验（如哈密顿或辛几何归纳偏置），从而实现对多样化系统的通用适用性。

实验结果

研究问题

• RQ1 在存在测量噪声、隐状态与外部输入的情况下，如何高效且稳健地识别连续时间非线性状态空间模型？
• RQ2 使用短数据子段对连续时间模型学习中损失函数平滑性与优化稳定性有何理论影响？
• RQ3 在基于子段的训练中，可靠编码器函数存在的必要条件是什么？
• RQ4 为何状态导数归一化在连续时间神经 ODE 中对稳定与准确估计至关重要？
• RQ5 仅使用无结构先验的简单全连接网络，能否在连续时间系统识别中实现最先进性能？

主要发现

• SUBNET 在 CCT 基准测试中实现最先进 RMSE（0.022），在 CED 基准测试中实现最先进 RMSE（0.018），优于现有方法（包括神经 ODE 与 dynoNET）。
• 在 EMPS 基准测试中，SUBNET 在测试集上实现 RMSE 0.034，使用仅 T=200 长度的子序列，成功实现对 24,841 个样本的强长期预测准确性。
• 实验结果表明，当 $ \Delta t / \tau \approx 1 $ 时，$ \text{RMS}(x) \approx \text{RMS}(f) \approx 1 $，这与最低 RMSE 相关，验证了理论归一化要求。
• 不适当的归一化（如 $ \tau = 1 $）导致性能显著下降，CCT 与 CED 的 RMSE 分别上升至 2.0 与 0.3，证实了归一化项的必要性。
• 该方法在消费级笔记本电脑上每模型仅需 15 分钟训练时间，远快于神经 ODE（2 小时），也快于更复杂的 EMPS 数据集（10 小时）。
• 子段的使用通过利普希茨连续性分析被证明可提升损失函数的平滑性，从而增强优化稳定性与收敛性。