[논문 리뷰] Review of Applications of Generalized Regression Neural Networks in Identification and Control of Dynamic Systems

Ahmad Jobran Al-Mahasneh, Sreenatha G. Anavatti외 1명|arXiv (Cornell University)|2018. 05. 29.

Fault Detection and Control Systems참고 문헌 3인용 수 32

한 줄 요약

이 논문은 동적 시스템의 시스템 식별 및 제어를 위한 일반화 회귀 신경망(GRNN)을 검토하며, 여러 기준 데이터셋을 통해 GRNN가 백프로파게이션 신경망보다 훈련 속도가 훨씬 빠르고 정확도가 높다는 것을 입증한다. 주요 기여는 GRNN의 회귀 및 제어 과제에서의 우수성을 실증적으로 검증한 것으로, 특히 훈련 오차와 시간을 최소화하면서도 높은 일반화 성능를 유지한다는 점이다.

ABSTRACT

This paper depicts a brief revision of Generalized Regression Neural Networks (GRNN) applications in system identification and control of dynamic systems. In addition, a comparison study between the performance of back-propagation neural networks and GRNN is presented for system identification problems. The results of the comparison confirm that GRNN has shorter training time and higher accuracy than the counterpart back-propagation neural networks.

연구 동기 및 목표

• 일반화 회귀 신경망(GRNN)의 기존 응용 사례를 검토하고 통합하는 것.
• 훈련 정확도와 시간을 기준으로 GRNN와 백프로파게이션 신경망(BPNN)의 성능을 평가하고 비교하는 것.
• 비선형 동적 시스템을 모델링하고 실시간 적응을 통해 지능형 제어를 가능하게 하는 GRNN의 효과성을 입증하는 것.
• 대규모 데이터셋에서 훈련할 경우 발생하는 은닉층 크기 증가 문제를 해결하기 위해 클러스터링 및 거리 기반 알고리즘과 같은 데이터 감소 기법을 논의하는 것.

제안 방법

• GRNN는 은닉층에서 정규화된 가우시안 커널을 사용하며, 백프로파게이션 없이 모든 훈련 패턴을 기억하는 단일 패assing 훈련 메커니즘을 갖춘다.
• 출력은 입력 벡터와 훈련 샘플 간의 유클리드 거리를 기반으로 한 가중 평균을 통해 계산되며, 스무딩 파라미터 σ가 커널 폭을 조절한다.
• 핵심 수식: $ D_i = (X - X_i)^T(X - X_i) $ 및 $ \hat{Y} = \frac{\sum_{i=1}^{N} Y_i e^{-D_i/(2\sigma^2)}}{\sum_{i=1}^{N} e^{-D_i/(2\sigma^2)}} $, 여기서 $ D_i $는 거리이고 $ \sigma $는 스무딩 파라미터이다.
• GRNN는 제어 과제에서 오프라인(역역학 모델로 사용) 및 온라인(실시간 적응 가능) 모두에 적용된다.
• 성능 평가는 MATLAB MathWorks에서 제공한 일곱 개의 기준 데이터셋을 기반으로 평균 제곱오차(MSE)와 훈련 시간을 사용하여 평가된다.
• GRNN를 활용한 큼코pter 고도 제어 시뮬레이션을 통해 실시간 추적 능력과 빠른 학습 능력을 입증한다.

실험 결과

연구 질문

• RQ1 GRNN의 성능는 시스템 식별 과제에서 백프로파게이션 신경망과 비교해 어떻게 되는가?
• RQ2 동적 시스템 모델링에서 GRNN의 훈련 속도와 정확도 면에서의 주요 이점은 무엇인가?
• RQ3 어떤 유형의 제어 시스템에서 GRNN는 효과적으로 적용될 수 있으며, 어떻게 실시간 적응을 가능하게 하는가?
• RQ4 대규모 데이터셋에서 훈련할 경우 GRNN의 은닉층 크기 증가 문제는 어떻게 완화할 수 있는가?

주요 결과

• GRNN는 모든 데이터셋에서 근사적으로 0에 가까운 훈련 오차(예: 단순 피팅 데이터셋에서 4.44×10⁻¹⁸)를 달성하여 정확도 면에서 BPNN를 크게 앞서는 성과를 보였다.
• GRNN의 훈련 시간은 모든 데이터셋에서 일관되게 0.52초 이내였으며, BPNN의 훈련 시간은 0.533에서 4.995초로 변동하여 GRNN의 뛰어난 속도를 입증했다.
• 콜레스테롤 및 엔진 데이터셋의 경우, BPNN의 훈련 오차는 각각 3.67×10² 및 2.42×10³로 매우 높았지만, GRNN는 오차가 5.56×10⁻⁵ 및 2.67×10⁻¹⁰으로 매우 낮게 유지되었다.
• GRNN는 시뮬레이션된 큼코프터 제어에서 정확도 높은 고도 기준 신호 추적 능력을 보이며, 빠른 학습과 최소한의 오차를 기록했다.
• 이 연구는 GRNN가 전역 근사 및 빠른 훈련 능력 덕분에 회귀, 근사, 제어 과제에서 매우 효과적임을 확인했다.
• 대규모 GRNN 응용에서 은닉층 크기 증가 문제를 완화하기 위해 클러스터링과 같은 데이터 차원 감소 기법을 권장한다.