[论文解读] dynoNet: a neural network architecture for learning dynamical systems

Marco Forgione, Dario Piga|arXiv (Cornell University)|Jun 3, 2020

Neural Networks and Applications参考文献 16被引用 4

一句话总结

该论文提出 dynoNet，一种可微分神经网络架构，其使用线性时不变（LTI）动力学算子作为可学习层来建模序列数据和动力学系统，这些算子以有理传递函数（IIR滤波器）参数化。通过支持对这些 IIR 模块进行端到端反向传播，dynoNet 在系统辨识基准测试中以更少的参数实现了优于 FIR 基础或 RNN 架构的性能，展示了在具有挑战性的机电和非线性系统数据集上的最先进结果。

ABSTRACT

This paper introduces a network architecture, called dynoNet, utilizing linear dynamical operators as elementary building blocks. Owing to the dynamical nature of these blocks, dynoNet networks are tailored for sequence modeling and system identification purposes. The back-propagation behavior of the linear dynamical operator with respect to both its parameters and its input sequence is defined. This enables end-to-end training of structured networks containing linear dynamical operators and other differentiable units, exploiting existing deep learning software. Examples show the effectiveness of the proposed approach on well-known system identification benchmarks. Examples show the effectiveness of the proposed approach against well-known system identification benchmarks.

研究动机与目标

• 开发一种专用于序列建模和系统辨识的可微分、端到端可训练神经网络架构。
• 解决标准一维卷积网络和循环网络在高效建模长期依赖关系方面的局限性。
• 通过反向传播，实现将线性动力学系统（IIR 滤波器）作为可学习组件集成到深度学习框架中。
• 在真实世界系统辨识基准测试中，展示该架构的表征能力和泛化能力。
• 为建模复杂动力学系统提供一种计算效率更高的替代方案，相比 RNN 和 FIR 基础的 CNN，参数更少。

提出的方法

• 核心组件是一个由有理传递函数定义的可微分线性动力学算子，支持对输入序列进行无限脉冲响应（IIR）滤波。
• 通过闭式推导 LTI 层的前向和反向运算，支持使用自动微分实现高效反向传播。
• 该架构将 LTI 模块与静态可微分组件（如前馈网络、激活函数和多项式）结合，形成灵活的多输入多输出（MIMO）结构。
• 使用标准深度学习软件（如 PyTorch）进行端到端训练，利用反向模式自动微分。
• LTI 层通过基于线性差分方程的递推关系实现，支持时间序列的向量化处理，同时保持序列依赖性。
• 通过 GitHub 仓库提供软件实现，以支持可复现性，并可无缝集成到现有深度学习流程中。

实验结果

研究问题

• RQ1 能否将可微分 IIR 滤波器层有效集成到深度学习框架中，以实现动力学系统模型的端到端训练？
• RQ2 在参数更少的情况下，dynoNet 架构在建模长期时间依赖关系方面与标准一维 CNN 和 RNN 相比表现如何？
• RQ3 dynoNet 在复杂、非线性和临界稳定的动力学系统（如机电定位系统）上的泛化能力如何？
• RQ4 该架构在基准数据集上能否优于 NFIR、NARX 和 NOBF 等成熟黑箱系统辨识模型？
• RQ5 与 FIR 或循环架构相比，LTI 模块中使用有理传递函数对模型精度和计算效率有何影响？

主要发现

• 在 Wiener-Hammerstein 电路基准测试中，dynoNet 的测试拟合度达到 93.2%，均方根误差（RMSE）为 4.52×10⁻⁵ mm，优于标准黑箱模型 NFIR（RMSE = 16.3×10⁻⁵ mm）。
• 在 Bouc-Wen 滞回基准测试中，模型实现了 95.8% 的测试拟合度和 1.28×10⁻⁵ mm 的 RMSE，表现出在非线性、记忆依赖系统上的强劲性能。
• 在机电定位系统（EMPS）中，dynoNet 实现了 96.8% 的测试拟合度和 2.64×10⁻³ mm 的 RMSE，显著优于最佳线性模型（拟合度 = 25.4%）。
• 该架构在所有基准测试中均表现出优越的样本效率和泛化能力，尤其在建模具有复杂摩擦和积分动力学的系统方面表现突出。
• 由于采用向量化处理和减少的序列依赖性，LTI 层的计算成本低于 RNN，同时仍通过 IIR 滤波捕获长期依赖关系。
• PyTorch 中的软件实现支持与现有深度学习工作流无缝集成，并支持所有网络组件的联合优化。