[논문 리뷰] Lyapunov Method Based Online Identification of Nonlinear Systems Using Extreme Learning Machines

Vijay Manikandan Janakiraman, Dennis N. Assanis|arXiv (Cornell University)|2012. 11. 07.

Machine Learning and ELM참고 문헌 10인용 수 6

한 줄 요약

이 논문은 극단적 학습 기계(ELM)를 활용하여 비선형 시스템을 위한 라플라스 안정성 온라인 식별 알고리즘을 제안한다. ELM의 빠른 랜덤 프로젝션과 최소 제곱 학습을 활용하며, 라플라스 안정성 이론을 통해 매개변수 갱신 법칙을 유도함으로써 안정적인 수렴을 보장한다. DC 모터 및 로렌츠 오시레이터 벤치마크에서 표준 온라인 ELM보다 정확도와 매개변수 수렴 속도에서 뛰어난 성능을 보인다.

ABSTRACT

Extreme Learning Machine (ELM) is an emerging learning paradigm for nonlinear regression problems and has shown its effectiveness in the machine learning community. An important feature of ELM is that the learning speed is extremely fast thanks to its random projection preprocessing step. This feature is taken advantage of in designing an online parameter estimation algorithm for nonlinear dynamic systems in this paper. The ELM type random projection and a nonlinear transformation in the hidden layer and a linear output layer is considered as a generalized model structure for a given nonlinear system and a parameter update law is constructed based on Lyapunov principles. Simulation results on a DC motor and Lorentz oscillator show that the proposed algorithm is stable and has improved performance over the online-learning ELM algorithm.

연구 동기 및 목표

• 제어 및 역학 시스템 분야에서 비선형 시스템에 대한 안정적이고 실시간 매개변수 추정의 부족을 해결한다.
• 기울기 기반 갱신으로 인해 발산하거나 느리게 수렴할 수 있는 기존 온라인 학습 방법의 한계를 극복한다.
• ELM의 빠른 학습 속도와 라플라스 안정성 이론을 융합하여 강력한 온라인 매개변수 적응을 보장한다.
• 노이즈가 있는 측정치를 가진 연속 시간 비선형 시스템에 적합한 안정적이고 계산 효율적인 알고리즘을 개발한다.
• 표준 온라인 ELM에 비해 상태 추정 정확도와 매개변수 수렴 성능에서 뛰어난 성능을 입증한다.

제안 방법

• 과거 입력과 출력을 특징 벡터로 매핑하는 NARX 모델 구조를 사용하여 비선형 시스템 식별 문제를 수립한다.
• 입력을 고차원 특징 공간으로 매핑하기 위해 ELM의 랜덤 프로젝션과 고정된 은닉층, 시그모이드 활성화를 적용한다.
• 정규화된 최소 제곱을 통해 해석적으로 계산된 가중치를 갖는 선형 출력층을 사용하여 빠른 훈련을 보장한다.
• 대칭 정부호 정의 행렬 A를 사용하여 매개변수 추정 오차의 점근적 안정성을 보장하는 라플라스 기반 매개변수 갱신 법칙을 설계한다.
• 라플라스 함수의 도함수를 통해 시간에 따라 변화하는 학습률을 통합하여 오차 수렴을 보장한다.
• 과도 응답과 수렴 속도를 제어하기 위해 설계 행렬 A를 조정함으로써 성능의 유연성을 확보한다.

실험 결과

연구 질문

• RQ1 라플라스 기반 매개변수 갱신 법칙은 비선형 시스템 식별을 위한 온라인 ELM에서 안정성을 보장할 수 있는가?
• RQ2 제안된 알고리즘은 상태 추정 정확도와 매개변수 수렴 측면에서 표준 온라인 ELM에 비해 어떻게 비교되는가?
• RQ3 측정 노이즈가 혼돈적이고 비선형 시스템에서 라플라스 ELM 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ4 설계 행렬 A를 조정하여 수렴 속도와 과도 응답을 향상시킬 수 있는가, 안정성은 손상되지 않는가?
• RQ5 라플라스 ELM 방법은 단조적 매개변수 수렴을 달성하는가, 그리고 온라인 ELM의 비단조적 행동과 비교해보면 어떠한가?

주요 결과

• 노이즈가 없는 로렌츠 오시레이터 시스템에서 라플라스 ELM은 온라인 ELM(0.2085)에 비해 훨씬 낮은 정규화된 RMSE(0.0652)를 달성한다.
• 가우시안 측정 노이즈 존재 시, 라플라스 ELM은 온라인 ELM(0.2424)에 비해 정규화된 RMSE 0.1139를 유지한다.
• 라플라스 ELM의 매개변수 수렴은 더 빠르고 단조롭지만, 온라인 ELM는 비단조적이고 느린 수렴 패턴을 보인다.
• DC 모터 및 로렌츠 오시레이터 사례 모두에서 실제 시스템과 추정 시스템의 상태가 점점 수렴함을 확인하여 시스템 안정성을 입증한다.
• 설계 행렬 A를 조정하면 수렴 속도를 제어할 수 있으며, 더 작은 고유값은 시스템 동역학의 더 빠른 추적을 가능하게 한다.
• 제안된 방법은 ELM의 계산 효율성을 그대로 유지하면서도 라플라스 기반 안정성 보장을 추가하여 실시간 응용에 적합하다.