[논문 리뷰] Exploring Optimization Techniques for Parameter Estimation in Nonlinear System Modeling

Kaushal Kumar|arXiv (Cornell University)|2023. 04. 29.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 비선형 동역계, 특히 카오스 시스템인 Rössler 시스템에 대한 매개변수 추정을 위해 기울기 기반 반복, Levenberg-Marquardt, Nelder-Mead 단체 방법의 세 가지 최적화 기법을 평가한다. Nelder-Mead 단체 방법이 가장 뛰어난 성능을 보였으며, 가장 낮은 RMSE(1.3247)를 기록하고 진짜 값에 가장 가까운 매개변수 추정치를 도출하여 노이즈 환경에서도 정확성과 강건성 면에서 뛰어난 성능을 입증한다.

ABSTRACT

Optimization techniques play a crucial role in estimating parameters and state information for nonlinear systems. However, some critical aspects of these problems have received little attention in previous research. In this paper, we address this gap by exploring optimization techniques for parameter estimation in nonlinear system modeling, with a focus on chaotic dynamical systems. We introduce three optimization methods - a gradient-based iterative algorithm, the Levenberg-Marquardt algorithm, and the Nelder-Mead simplex method - that transfer the complex nonlinear optimization problem into a simpler linear or nonlinear one. We apply these methods to determine the parameters of nonlinear systems, presenting a numerical example to demonstrate their effectiveness. Our results show that the Nelder-Mead simplex method is particularly effective in estimating the parameters of nonlinear systems and has the potential to be a valuable tool in various fields that require nonlinear system modeling. Overall, our study contributes to the understanding and improvement of optimization techniques for parameter estimation in nonlinear system modeling, which has implications for a wide range of applications in science and engineering.

연구 동기 및 목표

• 이전 연구에서 비선형 시스템, 특히 카오스 동역계에 대한 매개변수 추정을 위한 최적화 기법에 대한 관심이 부족한 점을 보완하기 위해.
• 기울기 기반 반복, Levenberg-Marquardt, Nelder-Mead 단체 방법의 세 알고리즘 성능을 평가하고 비교하기 위해.
• Rössler 시스템, Van der Pol 진동자, Lotka-Volterra 모델을 포함한 수치 예제를 통해 이들 방법의 효과성을 입증하기 위해.
• 근본 제곱 오차(RMSE) 지표를 사용하여 알고리즘 선택이 추정 정확도와 시스템 식별 품질에 미치는 영향을 평가하기 위해.
• 재현 가능성과 시스템 식별 분야의 향후 연구를 지원하기 위해 실용적이고 오픈소스 구현을 제공하기 위해.

제안 방법

• 매개변수 추정 문제를 측정 오차의 가중 l₂ 노름을 최소화하는 비선형 최소 제곱 최적화 문제로 수식화한다.
• 기울기 기반 반복 알고리즘은 비용 함수의 음의 기울기를 사용하여 매개변수 추정치를 갱신하며, 적응형 스텝 크기를 적용한다.
• Levenberg-Marquardt 알고리즘은 최저 강하법와 가우스-뉴턴 방법을 조합하여, 수렴 속도와 안정성의 균형을 확보하기 위해 덤핑을 조절한다.
• Nelder-Mead 단체 방법은 기울기 계산이 필요 없는 직접 검색 접근법을 사용하며, 반사, 확장, 압축 연산에 기반한다.
• 비용 함수는 $ J(p) = \sum_{ij} \sigma_{ij}^{-2} [\eta_{ij} - g_{ij}(x(t_j), p)]^2 $로 정의되며, 측정 분산을 통합한다.
• 수치 실험은 Rössler 시스템, Van der Pol 진동자, Lotka-Volterra 모델에서 수행되었으며, 성능 평가에 RMSE와 궤도 비교가 사용되었다.

실험 결과

연구 질문

• RQ1 기울기 기반 반복, Levenberg-Marquardt, Nelder-Mead 단체 방법은 비선형 동역계의 매개변수 추정에서 어떻게 비교될 수 있는가?
• RQ2 Rössler 시스템과 같은 카오스 시스템의 매개변수 추정에서 어떤 최적화 방법이 가장 낮은 근본 제곱 오차(RMSE)를 달성하는가?
• RQ3 이들 방법은 시스템 도함수에 추가된 가우시안 측정 노이즈에 대해 얼마나 강건한가?
• RQ4 기타 방법이 실패할 경우에도 Nelder-Mead 단체 방법은 비선형 시스템의 동적 진화를 효과적으로 포착할 수 있는가?
• RQ5 알고리즘 선택은 비선형 모델링에서 시스템 식별의 정확도와 신뢰성에 어떤 영향을 미치는가?

주요 결과

• Rössler 시스템에서 Nelder-Mead 단체 방법은 RMSE 값 1.3247을 기록하여 기울기 기반 방법(4.4744)과 Levenberg-Marquardt 방법(6.9839)을 크게 앞서며 가장 낮은 오차를 기록했다.
• Rössler 시스템에서 Nelder-Mead 방법은 진짜 값에 가장 가까운 매개변수 추정치를 도출했으며, $ p_1 = 0.1913 $, $ p_2 = 0.1918 $, $ p_3 = 4.9344 $를 도출했고, 진짜 값은 각각 0.2, 0.2, 5.7이었다.
• Nelder-Mead 방법은 그림 5와 6의 궤도 및 위상도 비교를 통해 시스템의 동적 진화를 정확히 재현했다.
• η = 0.01에서 η = 10까지 다양하게 변화하는 평균이 0인 가우시안 노이즈 조건에서도 Nelder-Mead 방법은 강건한 성능을 유지했으며, 궤도가 진짜 동역학과 매우 유사하게 유지되었다.
• 기울기 기반 방법과 Levenberg-Marquardt 방법은 노이즈에 더 민감하고, 진짜 시스템 행동에서 더 큰 편차를 보이며, 더 정확한 매개변수 복원이 어려웠다.
• 이 연구는 알고리즘 선택이 추정 정확도와 시스템 식별 품질에 결정적인 영향을 미친다는 점을 확인했으며, 테스트된 비선형 시스템에서 Nelder-Mead 방법이 가장 효과적인 방법으로 뚜렷이 드러났다.