[논문 리뷰] Learning-based Model Predictive Control for Safe Exploration

Torsten Koller, Felix Berkenkamp외 2명|arXiv (Cornell University)|2018. 03. 22.

Advanced Control Systems Optimization참고 문헌 29인용 수 14

한 줄 요약

이 논문은 알려지지 않은 동적 시스템의 탐색 중 높은 확률로 안전 보장을 보장하는 학습 기반 모델 예측 제어 프레임워크인 SafeMPC를 제안한다. 가우시안 프로세스 모델을 사용하여 동시 신뢰구간과 종료 집합 제약 조건을 활용함으로써, 안전한 복귀 경로를 반복적으로 보장함으로써 제약 조건 위반 없이 효율적이고 안전한 학습을 가능하게 한다.

ABSTRACT

Learning-based methods have been successful in solving complex control tasks without significant prior knowledge about the system. However, these methods typically do not provide any safety guarantees, which prevents their use in safety-critical, real-world applications. In this paper, we present a learning-based model predictive control scheme that can provide provable high-probability safety guarantees. To this end, we exploit regularity assumptions on the dynamics in terms of a Gaussian process prior to construct provably accurate confidence intervals on predicted trajectories. Unlike previous approaches, we do not assume that model uncertainties are independent. Based on these predictions, we guarantee that trajectories satisfy safety constraints. Moreover, we use a terminal set constraint to recursively guarantee the existence of safe control actions at every iteration. In our experiments, we show that the resulting algorithm can be used to safely and efficiently explore and learn about dynamic systems.

연구 동기 및 목표

• 실제 안전 중심 응용 분야에서의 활용을 제한하는 학습 기반 제어 방법의 안전 보장 부족 문제를 해결한다.
• 시스템 학습 중 불안전한 행동을 유도할 수 있는 낙관적 탐색 전략의 한계를 극복한다.
• 모델 불확실성 하에서 안전 경로의 반복 가능성을 보장하는 모델 예측 제어 계획을 개발한다.
• 통계학적 학습 이론과 가우시안 프로세스 모델 내 불확실성 전파를 사용하여 공식적이고 높은 확률의 안전 보장을 제공한다.
• 적응형 수평 선택과 성능 경로 계획을 통해 정보 수확과 안전성을 균형 잡는 방식으로 효율적인 탐색을 가능하게 한다.

제안 방법

• 알려지지 않은 시스템 동역학을 모델링하기 위해 가우시안 프로세스(GP) 사전분포를 사용하며, 알려진 사전 평균 함수 h(x,u)와 GP 분포를 가진 오차 항 g(x,u)를 포함한다.
• 시간적 의존성을 고려한 새로운 불확실성 전파 방법을 사용하여 GP 모델의 신뢰구간을 시간에 따라 전파하고, 진짜 경로 분포의 타원형 과소추정을 제공한다.
• 통계학적 학습 이론을 사용하여 경로에 대한 동시 신뢰구간을 구성함으로써, 모든 시간 단계에서 진짜 시스템 동역학이 포함될 가능성이 높아지도록 보장한다.
• 불확실성 전파를 제약 조건이 있는 MPC와 통합하여 상태 및 제어 제약 조건을 충족시키면서 종료 집합 제약 조건을 통해 반복 가능한 탇행 가능성을 확보한다.
• 평균 등가 불확실성 전파를 사용하는 성능 경로 계획 메커니즘을 도입하여 탐색을 이끌며, 예측 불확실성을 최대화하면서 안전 경로에서의 이탈을 최소화한다.
• 운영 중 수집된 새로운 관측치를 반복적으로 갱신하여 모델 정확도와 제어 성능을 향상시키면서도 안전성을 유지한다.

실험 결과

연구 질문

• RQ1 학습 기반 MPC 프레임워크는 시스템에 대한 사전 지식 없이도 탐색 과정에서 증명 가능한 높은 확률의 안전 보장을 제공할 수 있는가?
• RQ2 비선형이며 비정규 분포를 가지는 시스템에서 GP 모델을 사용해 다중 시간 단계에 걸쳐 불확실성을 신뢰성 있게 전파할 수 있는가?
• RQ3 수평 길이가 안전 학습 환경에서 탐색 효율성과 정보 수확에 어떤 영향을 미치는가?
• RQ4 성능 경로 계획은 안전 제약 조건을 유지하면서도 탐색 효율성을 향상시킬 수 있는가?
• RQ5 종료 집합 제약 조건은 제어 정책의 반복 가능한 타당성과 장기적 안전성에 어떻게 기여하는가?

주요 결과

• SafeMPC는 GP 모델에서 유도된 경로에 대한 동시 신뢰구간을 사용하여 학습 과정 전반에 걸쳐 높은 확률의 안전 보장을 성공적으로 유지한다.
• 알려지지 않은 시스템에 대한 효율적 탐색이 가능하며, T=4의 수평 길이에서 최고의 정보 수확을 달성하여 짧거나 긴 수평 길이보다 뛰어난 성능을 보였다.
• 시스템 리셋 없이 동적 탐색을 수행할 경우, 성능 경로 계획 메커니즘을 포함한 경우 표준 SafeMPC에 비해 정보 수확이 크게 향상되었다.
• 더 긴 수평 길이(T=5)에서는 상호정보량이 더 천천히 포화 상태에 도달함을 확인하여, 장기간의 불확실성 전파로 인해 초도 탐색이 정보 수확 측면에서 덜 유용하다는 점을 시사했다.
• 안전한 행동을 피하면서도 높은 데이터 효율성과 빠른 학습을 달성함으로써, 표준 낙관적 탐색 전략보다 성능이 뛰어나다.
• 적응형 수평 선택 또는 가변 수평 MPC는 특히 상호정보량이 포화 상태에 접어들게 되는 상황에서 성능 향상에 기여할 수 있다.