[논문 리뷰] Stein Variational Model Predictive Control

Alexander Lambert, Adam Fishman외 3명|arXiv (Cornell University)|2020. 11. 15.

Advanced Control Systems Optimization참고 문헌 37인용 수 18

한 줄 요약

이 논문은 스틴 변분 경량 강하법(Stein Variational Gradient Descent, SVGD)를 사용하여 제어 매개변수에 대한 비모수적 사후 분포로 제어 해법을 표현하는 새로운 MPC 프레임워크인 스틴 변분 모델 예측 제어(SV-MPC)를 제안한다. MPC를 베이지안 추론 문제로 재정의함으로써, SV-MPC는 복잡하고 다중 모달적이며 비볼록적인 최적 제어 문제를 효과적으로 다루며, 탐색 및 조작과 같은 도전적인 로봇 작업에서 MPPI 및 CEM보다 높은 성공률과 낮은 비용을 기록하여 뛰어난 성능을 보였다.

ABSTRACT

Decision making under uncertainty is critical to real-world, autonomous systems. Model Predictive Control (MPC) methods have demonstrated favorable performance in practice, but remain limited when dealing with complex probability distributions. In this paper, we propose a generalization of MPC that represents a multitude of solutions as posterior distributions. By casting MPC as a Bayesian inference problem, we employ variational methods for posterior computation, naturally encoding the complexity and multi-modality of the decision making problem. We present a Stein variational gradient descent method to estimate the posterior directly over control parameters, given a cost function and observed state trajectories. We show that this framework leads to successful planning in challenging, non-convex optimal control problems.

연구 동기 및 목표

• 기존 MPC가 제어 입력에 대한 복잡하고 비정규, 다중 모달 분포를 다루는 데에 한계가 있음을 해결하기 위해.
• 장애물, 다중 목표, 비볼록 제약 조건이 존재하는 비볼록 최적 제어 문제에서 효과적인 계획을 가능하게 하기 위해.
• 실시간 로봇 의사결정에서 비정상적인 사후 분포에 적응할 수 있는 확장 가능하고 온라인 MPC 방법을 개발하기 위해.
• 변분 추론과 SVGD를 활용하여 제어 매개변수에 대한 사후 분포를 효율적이고 비모수적으로 근사하기 위해.
• 궤적 최적화에 일반화 가능하고 기존 MPC 및 SOC 방법과 원활하게 통합되는 통합 프레임워크를 제공하기 위해.

제안 방법

• 제어 매개변수에 대한 사후 분포를 정의함으로써 MPC를 베이지안 추론 문제로 재정의한다.
• 진짜 사후 분포를 근사하기 위해 상대 엔트로피 최소화를 사용하여 제어 시퀀스에 대한 변분 추론을 가능하게 한다.
• 제어 입력에 대한 사후 분포를 나타내는 입자 집합을 반복적으로 갱신하기 위해 스틴 변분 경량 강하법(SVGD)을 활용한다.
• 하향 삼각행렬 변환을 통해 마르코프 의존성을 갖는 가우시안 프로세스 유사 구조를 사용해 제어 시퀀스에 대한 사전 분포를 정의한다.
• 장애물 회피(이중 모달 가우시안 혼합 지ap)와 목표 도달 페널티를 포함하는 비용 함수를 통합한다.
• 온라인, 후행 수평 방식으로 적용되며, 각 시간 단계에서 따뜻한 시작과 반복 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 SVGD와 같은 비모수적 변분 추론 방법이 복잡하고 비볼록적인 최적 제어 문제에서 다중 모달 제어 정책을 효과적으로 표현할 수 있는가?
• RQ2 불확실성 하에서 MPPI 및 CEM과 같은 샘플링 기반 MPC 방법과 비교해 SV-MPC는 성공률과 비용 최소화 측면에서 어떻게 성능을 내는가?
• RQ3 제안된 프레임워크는 실시간 로봇 제어에서 흔한 비정상적이고 급격히 변화하는 사후 분포를 다룰 수 있는가?
• RQ4 입자 수와 최적화 반복 수가 SV-MPC 제어기의 성능과 수렴성에 미치는 영향은 무엇인가?
• RQ5 제어 시퀀스에 대한 사전 분포의 선택이 궤적의 매끄러움과 계획 성능에 미치는 영향은 어떠한가?

주요 결과

• 4×4 장애물 격자로 구성된 평면 탐색 작업에서, SV-MPC는 32개의 입자를 사용해 평균 비용 20.7×10³, 성공률 96%를 달성했으며, MPPI 및 CEM보다 뛰어난 성능을 보였다. 이는 각각 성공률 64%와 더 높은 비용을 기록했다.
• 12개의 입자를 사용했을 때도 SV-MPC는 여전히 96%의 성공률 유지를 기록했고, 비용은 약간 증가한 21.8×10³로 유지되었다. 이는 입자 수 감소에 대한 강건성을 보여준다.
• 6개의 입자를 사용한 SV-MPC 버전은 성공률이 84%로 떨어졌지만, 높은 입자 수에서 MPPI 및 CEM과 경쟁 가능한 성능을 유지했다. 이는 성능이 입자 수에 민감하게 영향을 받지만, 여전히 경쟁력이 있음을 시사한다.
• 32개의 입자를 사용한 SV-MPC는 장애물 존재 하에서 MPPI(26.5×10³) 및 CEM(25.4×10³)보다 평균 비용이 낮은 20.7×10³을 기록하여 더 나은 비용 최소화 성능을 보였다.
• Half-cheetah 및 조작 작업에서 비볼록성 문제를 성공적으로 처리했으며, 이는 더 높은 차원의 제어 문제로의 확장성도 보여주었다.
• 제어 시퀀스에 대한 매끄럽고 마르코프 성질을 가진 사전 분포의 사용은 이전 연구에서의 GP-사전 분포와 유사하게 더 매끄러운 상태 궤적을 유도했다.