[논문 리뷰] Online Dynamics Learning for Predictive Control with an Application to Aerial Robots

Tom Z. Jiahao, Kong Yao Chee외 1명|arXiv (Cornell University)|2022. 07. 19.

Advanced Control Systems Optimization인용 수 7

한 줄 요약

이 논문은 공중 로봇에서 모델 예측 제어(MPC)를 위한 운영 중 지속적으로 정교화되는 지식 기반 신경 미분방정식(KNODE) 모델을 학습하는 온라인 동역학 학습 프레임워크인 KNODE-MPC-Online을 제안한다. 전이 학습 기반 기법과 경량 신경망을 활용해 잔여 동역학을 학습함으로써, 중간 비행 중 질량 외란 상황에서 명목 MPC 대비 궤도 추적에 있어 중앙값 MSE가 55.1% 감소하여 실제 큐드로터 실험에서 뛰어난 적응성과 내성 확보를 입증한다.

ABSTRACT

In this work, we consider the task of improving the accuracy of dynamic models for model predictive control (MPC) in an online setting. Although prediction models can be learned and applied to model-based controllers, these models are often learned offline. In this offline setting, training data is first collected and a prediction model is learned through an elaborated training procedure. However, since the model is learned offline, it does not adapt to disturbances or model errors observed during deployment. To improve the adaptiveness of the model and the controller, we propose an online dynamics learning framework that continually improves the accuracy of the dynamic model during deployment. We adopt knowledge-based neural ordinary differential equations (KNODE) as the dynamic models, and use techniques inspired by transfer learning to continually improve the model accuracy. We demonstrate the efficacy of our framework with a quadrotor, and verify the framework in both simulations and physical experiments. Results show that our approach can account for disturbances that are possibly time-varying, while maintaining good trajectory tracking performance.

연구 동기 및 목표

• 운영 중 동역학 모델의 온라인 학습을 가능하게 하여 공중 로봇에서 모델 예측 제어(MPC)의 적응성을 향상시키기 위해.
• 실제 운영 환경에서 시간에 따라 변하는 외란이나 모델 오차를 감안하지 못하는 오프라인 학습된 모델의 한계를 해결하기 위해.
• 스트리밍 센서 데이터를 사용해 지속적으로 동역학 모델 정확도를 향상시키는 샘플 효율적이고 실시간 구현이 가능한 프레임워크를 개발하기 위해.
• 모의 실험과 물리적 실험을 통해 온라인 동역학 학습의 효과성을 입증하기 위해.
• 예기치 않은 시스템 변화, 예를 들어 중간 비행 중 질량 변화가 발생하더라도 MPC 제어기가 고성능의 궤도 추적 성능을 유지할 수 있도록 하기 위해.

제안 방법

• 물리적 사전 지식과 데이터 기반 학습을 융합하여 잔여 동역학을 모델링하기 위해 지식 기반 신경 미분방정식(KNODE)을 사용한다.
• 비행 중에 새로 수집된 데이터를 사용해 KNODE 모델을 점진적으로 갱신하기 위해 전이 학습 기반의 적응 전략을 적용한다.
• 최근 측정치의 슬라이딩 윈도우를 사용해 온라인으로 동역학 모델을 정교화하며, 신경망 큐 크기 p=3 및 데이터 수집 간격 t_col=2s를 설정한다.
• 온라인 모델은 가속도 명령을 생성하는 MPC 제어기에 통합되며, 이를 바탕으로 하부 제어기에 제어 명령을 전달한다.
• VICON 기반 위치 피드백과 현장에 내장된 IMU를 활용해 속도 및 가속도 추정을 수행하는 계층적 제어 아키텍처를 사용한다.
• Crazyflie 큐드로터에서 CrazyROS를 사용해 프레임워크를 구현하였으며, 400 Hz 속도로 Crazyradio PA를 통해 통신하여 실시간 제어를 구현한다.

실험 결과

연구 질문

• RQ1 오프라인 학습 데이터에 존재하지 않는 시간에 따라 변하는 외란에 직면했을 때, 온라인 동역학 학습이 공중 로봇의 MPC 성능을 향상시킬 수 있는가?
• RQ2 질량 외란 상황에서 제안된 온라인 KNODE 기반 모델 적응 방식이 오프라인 학습 및 기준 MPC 대비 궤도 추적 정확도에서 어떻게 비교되는가?
• RQ3 다양한 비행 런에서 온라인 프레임워크가 오프라인 및 명목 제어 방법 대비 추적 오차와 분산을 얼마나 줄일 수 있는가?
• RQ4 제한된 데이터 가용성 하에 실세계 구현에서 온라인 학습 프레임워크의 샘플 효율성은 어느 정도인가?
• RQ5 외란이 특정 자유도에만 영향을 주는 상황에서, 프레임워크가 x, y, z 축 전반에서 일관된 성능을 유지를 할 수 있는가?

주요 결과

• KNODE-MPC-Online은 중간 비행 중 질량 외란 상황에서 명목 MPC 대비 궤도 추적 평균 제곱오차(MSE) 중앙값을 55.1% 감소시켰다.
• 제안된 방법은 오프라인 KNODE-MPC 기준으로 MSE를 21.3% 감소시켜, 모델링되지 않은 외란에 대한 뛰어난 적응성을 입증하였다.
• 기하학적 제어기 대비 MSE에서 43.2% 향상된 성능을 기록하여, 복잡하고 시간에 따라 변하는 동역학을 효과적으로 다룰 수 있음을 보여주었다.
• 40회의 실험 런 동안 추적 성능의 분산이 낮아 일관되고 내성적인 제어 성능을 보였다.
• 오프라인 KNODE-MPC 모델은 z축에서 보정을 시도했음에도 불구하고 x 및 y 축에서 성능이 열악했으며, 훈련 데이터에 존재하지 않은 외란에 일반화하지 못했다는 것을 시사했다.
• 온라인 프레임워크는 모든 세 축에서 외란에 성공적으로 적응하였으며, 특히 오프라인 모델이 실패한 x 및 y 평면에서 뛰어난 성능을 보였다.