[论文解读] Lyapunov Method Based Online Identification of Nonlinear Systems Using Extreme Learning Machines

Vijay Manikandan Janakiraman, Dennis N. Assanis|arXiv (Cornell University)|Nov 7, 2012

Machine Learning and ELM参考文献 10被引用 6

一句话总结

本文提出了一种基于极限学习机（ELM）的李雅普诺夫稳定在线辨识算法，用于非线性系统，利用ELM的快速随机投影和最小二乘学习。通过李雅普诺夫稳定性理论推导参数更新律，该方法确保了稳定收敛，并在直流电机和洛伦兹振子基准测试中，性能优于标准在线ELM，具有更高的精度和更快的参数收敛速度。

ABSTRACT

Extreme Learning Machine (ELM) is an emerging learning paradigm for nonlinear regression problems and has shown its effectiveness in the machine learning community. An important feature of ELM is that the learning speed is extremely fast thanks to its random projection preprocessing step. This feature is taken advantage of in designing an online parameter estimation algorithm for nonlinear dynamic systems in this paper. The ELM type random projection and a nonlinear transformation in the hidden layer and a linear output layer is considered as a generalized model structure for a given nonlinear system and a parameter update law is constructed based on Lyapunov principles. Simulation results on a DC motor and Lorentz oscillator show that the proposed algorithm is stable and has improved performance over the online-learning ELM algorithm.

研究动机与目标

• 解决控制与动力系统中非线性系统实时参数估计缺乏稳定性的问题。
• 克服传统在线学习方法因基于梯度的更新可能导致发散或收敛缓慢的局限性。
• 将ELM的快速学习速度与李雅普诺夫稳定性理论相结合，确保鲁棒的在线参数自适应。
• 开发一种稳定且计算高效的算法，适用于具有噪声测量的连续时间非线性系统。
• 在状态估计精度和参数收敛性方面，相比标准在线ELM展现出更优性能。

提出的方法

• 采用NARX模型结构建立非线性系统辨识问题，将过去输入和输出映射为特征向量。
• 应用ELM的随机投影和固定隐藏层及S型激活函数，将输入映射到高维特征空间。
• 采用线性输出层，并通过正则化最小二乘法解析计算权重，以确保快速训练。
• 设计基于李雅普诺夫的参数更新律，利用对称正定设计矩阵A，保证参数估计误差的渐近稳定性。
• 通过李雅普诺夫函数导数引入时变学习率，确保误差收敛。
• 调节设计矩阵A以控制瞬态响应和收敛速度，实现性能灵活性。

实验结果

研究问题

• RQ1 基于李雅普诺夫的参数更新律能否确保在线ELM在非线性系统辨识中的稳定性？
• RQ2 所提算法在状态估计精度和参数收敛性方面与标准在线ELM相比如何？
• RQ3 测量噪声对李雅普诺夫ELM算法在混沌和非线性系统中性能的影响如何？
• RQ4 设计矩阵A是否可调节以在不损害稳定性的前提下提升收敛速度和瞬态响应？
• RQ5 李雅普诺夫ELM方法是否实现单调参数收敛？其与在线ELM的非单调行为相比有何差异？

主要发现

• 在无噪声的洛伦兹振子系统中，李雅普诺夫ELM的归一化RMSE显著更低（0.0652），而在线ELM为0.2085。
• 在存在高斯测量噪声的情况下，李雅普诺夫ELM的归一化RMSE保持在0.1139，优于在线ELM的0.2424。
• 李雅普诺夫ELM的参数收敛更快且呈单调性，而在线ELM表现出非单调且更慢的收敛模式。
• 在直流电机和洛伦兹振子两种情况下，实际系统与估计系统的状态均实现渐近收敛，证实了系统稳定性。
• 调节设计矩阵A可控制收敛速度，较小的特征值可实现对系统动态的更快跟踪。
• 所提方法继承了ELM的计算效率，同时增加了基于李雅普诺夫的稳定性保证，适用于实时应用。