[論文レビュー] Lyapunov Method Based Online Identification of Nonlinear Systems Using Extreme Learning Machines

Vijay Manikandan Janakiraman, Dennis N. Assanis|arXiv (Cornell University)|Nov 7, 2012

Machine Learning and ELM参考文献 10被引用数 6

ひとこと要約

本稿では、極端な学習マシン（ELM）を用いた非線形システムのリャプノフ安定なオンライン同定アルゴリズムを提案する。ELMの高速なランダム射影と最小二乗学習の利点を活用し、リャプノフ安定性理論を用いてパラメータ更新則を導出することで、安定な収束を保証する。DCモーターおよびローレンツオシレータのベンチマークにおいて、標準的なオンラインELMよりも精度とパラメータ収束速度に優れる。

ABSTRACT

Extreme Learning Machine (ELM) is an emerging learning paradigm for nonlinear regression problems and has shown its effectiveness in the machine learning community. An important feature of ELM is that the learning speed is extremely fast thanks to its random projection preprocessing step. This feature is taken advantage of in designing an online parameter estimation algorithm for nonlinear dynamic systems in this paper. The ELM type random projection and a nonlinear transformation in the hidden layer and a linear output layer is considered as a generalized model structure for a given nonlinear system and a parameter update law is constructed based on Lyapunov principles. Simulation results on a DC motor and Lorentz oscillator show that the proposed algorithm is stable and has improved performance over the online-learning ELM algorithm.

研究の動機と目的

• 制御および力学系分野において、非線形システムの安定的でリアルタイムなパラメータ推定が不足している問題に対処する。
• 勾配に基づく更新による発散や遅い収束といった、従来のオンライン学習手法の限界を克服する。
• ELMの高速な学習速度とリャプノフ安定性理論を統合し、強力なオンラインパラメータ適合を実現する。
• ノイズのある測定値を伴う連続時間非線形システムに適した、安定的で計算効率の良いアルゴリズムを開発する。
• 標準的なオンラインELMと比較して、状態推定精度とパラメータ収束性能に優れた性能を示す。

提案手法

• 過去の入力と出力を特徴ベクトルにマッピングするNARXモデル構造を用いて、非線形システム同定問題を定式化する。
• 入力を高次元の特徴空間にマッピングするために、ELMのランダム射影と固定された隠れ層（シグモイド活性化関数）を適用する。
• 正則化最小二乗法を用いて解析的に計算された重みを有する線形出力層を採用し、高速な学習を実現する。
• 対称正定値設計行列 A を用いて、パラメータ推定誤差の漸近的安定性を保証するリャプノフに基づくパラメータ更新則を設計する。
• リャプノフ関数の微分を通じて時間変動する学習率を組み込み、誤差の収束を保証する。
• 収束速度と過渡応答の制御を可能にするために、設計行列 A を調整可能とする。

実験結果

リサーチクエスチョン

• RQ1 リャプノフに基づくパラメータ更新則は、非線形システム同定におけるオンラインELMの安定性を保証できるか？
• RQ2 提案手法は、状態推定精度とパラメータ収束の観点で、標準的なオンラインELMと比較してどのように異なるか？
• RQ3 測定ノイズが、カオス的および非線形システムにおけるリャプノフELMの性能に与える影響は何か？
• RQ4 設計行列 A を調整することで、安定性を損なわずに収束速度と過渡応答を向上させられるか？
• RQ5 リャプノフELM手法は単調なパラメータ収束を達成するのか？また、オンラインELMの非単調な挙動と比較してどう異なるか？

主な発見

• ノイズのないローレンツオシレータ系において、リャプノフELMはオンラインELM（0.2085）と比較して、顕著に低い正規化済みRMSE（0.0652）を達成した。
• ガウスノイズが存在する状況でも、リャプノフELMは正規化済みRMSEが0.1139を維持し、オンラインELM（0.2424）を上回る性能を示した。
• リャプノフELMではパラメータ収束が速く、単調な挙動を示す一方、オンラインELMは非単調的かつ遅い収束パターンを示した。
• DCモーターおよびローレンツオシレータの両ケースにおいて、実システムと推定システムの状態が漸近的に収束した。これはシステムの安定性を確認するものである。
• 設計行列 A の調整により、収束速度を制御可能であり、固有値が小さいほどシステムダイナミクスの追従性が向上した。
• 提案手法はELMの計算効率を引き継ぎつつ、リャプノフに基づく安定性保証を追加したため、リアルタイム応用に適している。