[논문 리뷰] Neural Network Adaptive Control with Long Short-Term Memory

Emirhan Inanc, Yiğit Gürses외 3명|arXiv (Cornell University)|2023. 01. 05.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 임의의 신경망(ANN) 제어기와 장기 단기 기억(LSTM) 네트워크를 조합하여 일시적인 응답 성능을 크게 향상시키는 새로운 적응 제어 아키텍처를 제안한다. LSTM은 제어 오차 신호의 순차적 의존성을 활용하여 실시간으로 돌연한 불확실성 변화를 예측하고 보완함으로써, 정 steady-state 성능을 저하시키지 않은 채 더 빠르고 안정적인 시스템 응답을 가능하게 한다.

ABSTRACT

In this study, we propose a novel adaptive control architecture, which provides dramatically better transient response performance compared to conventional adaptive control methods. What makes this architecture unique is the synergistic employment of a traditional, Adaptive Neural Network (ANN) controller and a Long Short-Term Memory (LSTM) network. LSTM structures, unlike the standard feed-forward neural networks, can take advantage of the dependencies in an input sequence, which can contain critical information that can help predict uncertainty. Through a novel training method we introduced, the LSTM network learns to compensate for the deficiencies of the ANN controller during sudden changes in plant dynamics. This substantially improves the transient response of the system and allows the controller to quickly react to unexpected events. Through careful simulation studies, we demonstrate that this architecture can improve the estimation accuracy on a diverse set of uncertainties for an indefinite time span. We also provide an analysis of the contributions of the ANN controller and LSTM network to the control input, identifying their individual roles in compensating low and high-frequency error dynamics. This analysis provides insight into why and how the LSTM augmentation improves the system's transient response. The stability of the overall system is also shown via a rigorous Lyapunov analysis.

연구 동기 및 목표

• 돌연한 불확실성 변화 상황에서 기존의 적응 신경망 제어기의 열악한 일시적 응답 성능을 해결한다.
• LSTM 네트워크의 순차적 기억 능력을 활용하여 고주파 오차 동역학을 예측하고 보완한다.
• 시스템 동역학과 피드백을 고려한 닫힌 루프 학습 방법을 개발하여 강건성을 향상시킨다.
• 엄밀한 라플라스 분석을 통해 제어 법칙 하에서 모든 신호의 유계성을 확보하면서도 ANN의 적응 학습 능력을 유지한다.
• 제어 입력 생성 과정에서 ANN(저주파수 보정)과 LSTM(고주파수 예측)의 상호보완적 역할을 입증한다.

제안 방법

• 적응 신경망(ANN) 제어기와 장기 단기 기억(LSTM) 네트워크를 융합하여 하이브리드 제어 아키텍처를 구성한다.
• 정규화된 추적 오차와 제어 입력 변화율 포화를 입력으로 사용하여, 일시적 오차 보정을 학습하기 위해 LSTM을 닫힌 루프 환경에서 훈련시킨다.
• LSTM에 대한 수정된 입력 벡터를 사용한다: [e_norm1, e_norm2, e_norm3, u_r]이며, 여기서 u_r는 변화율 포화 상태(±0.1 또는 0)를 인코딩한다.
• 불확실성 전환을 시뮬레이션하고 동적 오차 시퀀스를 캡처함으로써 예측 능력을 향상시키기 위한 새로운 훈련 절차를 적용한다.
• 전체 제어 입력을 ANN 및 LSTM 구성요소의 기여도로 분해하여 각 성분의 오차 보정 역할을 분석한다.
• 엄밀한 라플라스 기반 분석을 통해 제어 법칙 하에서 시스템 안정성을 입증하며, 모든 신호의 유계성을 보장한다.

실험 결과

연구 질문

• RQ1 LSTM 네트워크는 돌연한 불확실성 변화 상황에서 적응 신경망 제어기의 일시적 응답 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 ANN과 LSTM 구성요소는 저주파수 및 고주파수 오차 동역학을 다루는 데 있어 제어 입력에 어떻게 다른 기여를 하는가?
• RQ3 실시간 피드백과 포화 정보를 포함한 닫힌 루프 환경에서 LSTM을 훈련시키면 더 강건하고 매끄러운 제어 성능을 얻을 수 있는가?
• RQ4 LSTM 보강은 돌연한 불확실성 전환 기간 동안 얼마나 진동을 줄이고 추적 정확도를 향상시키는가?
• RQ5 특히 LSTM이 공격적인 일시적 명령을 생성할 경우, 제어 입력 포화 상황에서도 제안된 아키텍처는 안정성과 성능을 유지할 수 있는가?

주요 결과

• 큰 불확실성 전환 상황에서 LSTM 보강 제어기는 특히 피치 레이트 추적에서 일시적 진동을 크게 감소시킨다.
• 고불확실성 상황에서 LSTM은 큰, 빠른 제어 신호를 생성하여 포화를 유도하지만, 이는 기준 ANN 전용 제어기보다 더 양호한 감쇠와 더 빠른 복구를 이끌어낸다.
• 변화율 제한 정보를 기반으로 훈련된 LSTM은 더 매끄럽고 민첩한 보정을 생성하여 전체 제어 입력의 고주파수 진동을 줄인다.
• ANN 제어기는 주로 저주파수 불확실성 성분을 처리하는 데 전문화되어 있으며, LSTM은 고주파수 오차 동역학의 예측 및 보정에 특화되어 있다.
• 엄밀한 라플라스 안정성 분석을 통해 제어 법칙 하에서 시스템이 안정됨을 입증하였다.
• 시뮬레이션 결과는 LSTM 네트워크가 일시적 오차 동역학을 예측하고 보정함으로써 무한한 시간 동안의 추정 정확도를 향상시킨다는 것을 보여준다.