[论文解读] Exploring Optimization Techniques for Parameter Estimation in Nonlinear System Modeling

Kaushal Kumar|arXiv (Cornell University)|Apr 29, 2023

Neural Networks and Applications被引用 5

一句话总结

本文评估了三种优化技术——基于梯度的迭代法、Levenberg-Marquardt 方法以及 Nelder-Mead 单纯形法——在非线性动力系统（特别是 Rössler 系统等混沌系统）参数估计中的表现。Nelder-Mead 单纯形法表现最优，实现了最低的 RMSE（1.3247），并使参数估计值最接近真实值，证明其在噪声环境下具有更高的精度与鲁棒性。

ABSTRACT

Optimization techniques play a crucial role in estimating parameters and state information for nonlinear systems. However, some critical aspects of these problems have received little attention in previous research. In this paper, we address this gap by exploring optimization techniques for parameter estimation in nonlinear system modeling, with a focus on chaotic dynamical systems. We introduce three optimization methods - a gradient-based iterative algorithm, the Levenberg-Marquardt algorithm, and the Nelder-Mead simplex method - that transfer the complex nonlinear optimization problem into a simpler linear or nonlinear one. We apply these methods to determine the parameters of nonlinear systems, presenting a numerical example to demonstrate their effectiveness. Our results show that the Nelder-Mead simplex method is particularly effective in estimating the parameters of nonlinear systems and has the potential to be a valuable tool in various fields that require nonlinear system modeling. Overall, our study contributes to the understanding and improvement of optimization techniques for parameter estimation in nonlinear system modeling, which has implications for a wide range of applications in science and engineering.

研究动机与目标

• 为解决以往研究中对非线性系统（尤其是混沌动力系统）参数估计优化技术关注不足的问题。
• 评估并比较三种优化算法——基于梯度的迭代法、Levenberg-Marquardt 方法和 Nelder-Mead 单纯形法——在非线性系统参数估计中的性能。
• 通过数值实例（包括 Rössler 系统、Van der Pol 振子和 Lotka-Volterra 模型）展示这些方法的有效性。
• 利用均方根误差（RMSE）指标评估算法选择对估计精度与系统辨识质量的影响。
• 提供一个实用的开源实现，以支持可复现性及系统辨识领域的进一步研究。

提出的方法

• 本研究将参数估计问题建模为非线性最小二乘优化问题，目标是最小化测量误差的加权 l₂ 范数。
• 基于梯度的迭代算法使用代价函数的负梯度对参数估计进行更新，并采用自适应步长。
• Levenberg-Marquardt 算法结合最速下降法与高斯-牛顿法，通过调节阻尼参数平衡收敛速度与稳定性。
• Nelder-Mead 单纯形法采用直接搜索策略，无需计算梯度，依赖反射、扩展和收缩操作进行优化。
• 代价函数定义为 $ J(p) = \sum_{ij} \sigma_{ij}^{-2} [\eta_{ij} - g_{ij}(x(t_j), p)]^2 $，其中包含测量方差。
• 在 Rössler 系统、Van der Pol 振子和 Lotka-Volterra 模型上开展数值实验，通过 RMSE 和轨迹对比评估性能。

实验结果

研究问题

• RQ1 基于梯度的迭代法、Levenberg-Marquardt 方法与 Nelder-Mead 单纯形法在非线性动力系统参数估计中的表现如何比较？
• RQ2 在 Rössler 等混沌系统中，哪种优化方法能实现最低的均方根误差（RMSE）？
• RQ3 这些方法在系统导数中存在加性高斯测量噪声时的鲁棒性如何？
• RQ4 当其他方法失效时，Nelder-Mead 单纯形法是否仍能有效捕捉非线性系统的动态演化？
• RQ5 算法选择对非线性建模中系统辨识的精度与可靠性有何影响？

主要发现

• 对于 Rössler 系统，Nelder-Mead 单纯形法实现了最低的 RMSE 值 1.3247，显著优于基于梯度法（4.4744）和 Levenberg-Marquardt 方法（6.9839）。
• 在 Rössler 系统中，Nelder-Mead 方法的参数估计值最接近真实值，分别为 $ p_1 = 0.1913 $，$ p_2 = 0.1918 $，$ p_3 = 4.9344 $，而真实值为 0.2、0.2 和 5.7。
• Nelder-Mead 方法准确再现了系统的动态演化，经由图 5 和图 6 的轨迹与相图对比得到验证。
• 即使在零均值高斯噪声水平变化（从 η = 0.01 到 η = 10）的情况下，Nelder-Mead 方法仍保持稳健性能，轨迹与真实动力学高度吻合。
• 基于梯度法与 Levenberg-Marquardt 方法对噪声更敏感，参数恢复精度较低，导致与真实系统行为偏差较大。
• 本研究证实，算法选择显著影响估计精度与系统辨识质量，Nelder-Mead 方法在所测试的非线性系统中表现最为有效。