[논문 리뷰] Real-time Neural-MPC: Deep Learning Model Predictive Control for Quadrotors and Agile Robotic Platforms

Tim Salzmann, Elia Kaufmann외 4명|arXiv (Cornell University)|2022. 03. 15.

Advanced Control Systems Optimization인용 수 6

한 줄 요약

이 논문은 고성능 신경망 동역학 모델을 실시간 모델 예측 제어(MPC)에 통합할 수 있도록 해주는 실시간 신경망 MPC(RTN-MPC) 프레임워크를 소개한다. 효율적인 기울기 계산 및 최적화 기법을 활용하여, 이전의 실시간 신경망 MPC 접근 방식보다 파rametric 용량이 4000배 이상 큰 모델을 사용하면서도 임베디드 시스템에서 50Hz 제어 주파수를 달성하였으며, 실제 퀴드로터 비행 실험에서 추적 오차를 최대 82% 감소시켰다.

ABSTRACT

Model Predictive Control (MPC) has become a popular framework in embedded control for high-performance autonomous systems. However, to achieve good control performance using MPC, an accurate dynamics model is key. To maintain real-time operation, the dynamics models used on embedded systems have been limited to simple first-principle models, which substantially limits their representative power. In contrast to such simple models, machine learning approaches, specifically neural networks, have been shown to accurately model even complex dynamic effects, but their large computational complexity hindered combination with fast real-time iteration loops. With this work, we present Real-time Neural MPC, a framework to efficiently integrate large, complex neural network architectures as dynamics models within a model-predictive control pipeline. Our experiments, performed in simulation and the real world onboard a highly agile quadrotor platform, demonstrate the capabilities of the described system to run learned models with, previously infeasible, large modeling capacity using gradient-based online optimization MPC. Compared to prior implementations of neural networks in online optimization MPC we can leverage models of over 4000 times larger parametric capacity in a 50Hz real-time window on an embedded platform. Further, we show the feasibility of our framework on real-world problems by reducing the positional tracking error by up to 82% when compared to state-of-the-art MPC approaches without neural network dynamics.

연구 동기 및 목표

• 고성능 데이터 기반 신경망 동역학 모델을 고속 로봇 플랫폼을 위한 실시간 임베디드 MPC에 통합하는 데 도전하는 것.
• 복잡한 신경망을 온라인 최적화 루프에 통합할 때 발생하는 계산 병목 현상을 해결하여 임베디드 하드웨어에서 실시간 성능을 달성하는 것.
• 이전에 단순한 제1원리 모델로는 실시간 MPC에서 구현이 어려웠던 복잡한 동적 효과(예: 지상 효과, 기계적 힘)를 정확하게 모델링할 수 있도록 하는 것.
• 고속 고성능 퀴드로터를 위한 실세계 MPC 응용에서 대규모 신경망을 사용할 경우의 실현 가능성과 성능 향상을 입증하는 것.
• 모델링 용량을 늘리되 실시간 성능을 유지할 수 있도록 일반화 가능한 프레임워크를 제공하여, 향후 임베디드 MPC에 순차적 모델(LSTM 등)을 통합할 수 있도록 하는 것.

제안 방법

• 자동 미분 및 효율적인 자코비안 계산을 활용하여, 온라인 최적화 기반 MPC 프레임워크 내에 대규모 깊은 신경망을 학습된 동역학 모델로 통합한다.
• 순차적 순차 최적화(SQP) 솔버의 가속을 위해 온난 스타트 전략과 감소된 헤시안 근사 기법을 적용하여 임베디드 플랫폼에서 50Hz 실시간 동작을 가능하게 한다.
• 신경망 동역학을 최적화 문제에 통합한 기울기 기반 최적화가 가능한 유연한 MPC 설정을 사용하여, 전체 제어 파이프라인을 통해 역전파가 가능하도록 한다.
• CasADi 프레임워크에 맞춤형 자동 미분 확장 기능을 적용하여 제어 입력과 모델 파라미터에 대한 전체 최적화 문제의 기울기를 계산한다.
• 높은 복잡도의 신경 동역학 모델에도 불구하고 수치적 안정성과 수렴성을 확보하기 위해 모델 축소 및 정련 기법을 적용한다.
• 저수준 PID 제어기를 사용하여 실시간 비행 실험에서 MPC가 생성한 명령을 추적하도록, Jetson Xavier NX 플랫폼에 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 임베디드 플랫폼에서 계산 효율성을 유지하면서도 대규모 고용량 신경망을 실시간 MPC에 통합할 수 있는가?
• RQ2 기존의 제1원리 모델 대비 학습된 동역학 모델이 고속 퀴드로터 비행에서 추적 성능을 얼마나 향상시킬 수 있는가?
• RQ3 제안된 프레임워크는 실시간 제어에서 지상 효과나 기계적 힘과 같은 복잡한 비선형 효과를 어떻게 처리하는가?
• RQ4 임베디드 하드웨어에서 50Hz 제어 주파수를 유지하면서 사용할 수 있는 신경망의 최대 파arametric 용량은 얼마인가?
• RQ5 이 프레임워크는 퀴드로터 비행 이외의 다른 로봇 플랫폼과 동적 효과로까지 일반화될 수 있는가?

주요 결과

• RTN-MPC는 이전 실시간 구현 대비 파arametric 용량이 4000배 이상 큰 신경망 동역학 모델을 사용하면서도 임베디드 Jetson Xavier NX에서 50Hz 제어를 달성하여 실시간 MPC를 가능하게 하였다.
• 시뮬레이션 결과, 제안된 방법은 신경 동역학을 포함하지 않은 노멀 MPC 컨트롤러 대비 위치 추적 오차를 최대 82% 감소시켰다.
• 실세계 실험에서 최고 시속 14m/s 속도에서 GP-20 기반 MPC 대비 추적 오차를 55% 향상시켰다.
• 신경망 모델을 단순히 통합한 경우 최적화 시간이 과도하여 시스템이 다운되었지만, 이 시스템은 안정적이고 실시간으로 작동하였다.
• 실세계 비행에서 지상 효과를 성공적으로 모델링하여 70cm 높이의 테이블 위를 반복 비행할 때 수직 위치 오차를 72% 감소시켰다.
• 프레임워크는 복잡한 기계적 힘 효과로까지 일반화 가능했으며, 이전에는 표준 MPC로는 다루기 어려웠던 근접 비행 시나리오에서도 정확한 제어를 가능하게 하였다.