[논문 리뷰] Learning Certified Control using Contraction Metric

Dawei Sun, Susmit Jha외 1명|arXiv (Cornell University)|2020. 11. 25.

Advanced Control Systems Optimization참고 문헌 59인용 수 15

한 줄 요약

이 논문은 제어-아핀 시스템에 대해 신경망 기반 제어기와 수축 거리 척도를 함께 학습하는 학습 프레임워크를 제안하며, 외부 교란이 존재하는 상황에서도 수렴성과 유계 추적 오차를 보장한다. 수축 거리 척도 이론을 활용해 제어기와 거리 척도를 동시에 최적화함으로써, 구조적 가정 없이 공식적 보장을 제공하며, 추적 정확도와 속도 면에서 제곱합(sum-of-squares), 강화 학습, 모델 예측 제어(MPC)보다 뛰어나다.

ABSTRACT

In this paper, we solve the problem of finding a certified control policy that drives a robot from any given initial state and under any bounded disturbance to the desired reference trajectory, with guarantees on the convergence or bounds on the tracking error. Such a controller is crucial in safe motion planning. We leverage the advanced theory in Control Contraction Metric and design a learning framework based on neural networks to co-synthesize the contraction metric and the controller for control-affine systems. We further provide methods to validate the convergence and bounded error guarantees. We demonstrate the performance of our method using a suite of challenging robotic models, including models with learned dynamics as neural networks. We compare our approach with leading methods using sum-of-squares programming, reinforcement learning, and model predictive control. Results show that our methods indeed can handle a broader class of systems with less tracking error and faster execution speed. Code is available at https://github.com/sundw2014/C3M.

연구 동기 및 목표

• 로봇 시스템이 외부 교란이 존재하는 상황에서도 수렴성과 유계 추적 오차를 보장하는 인증된 제어 정책을 개발하는 것.
• 시스템 동역학에 대한 구조적 가정 없이 신경망 기반 제어기와 수축 거리 척도를 함께 합성하는 것.
• 리프시츠 연속성과 최적화 기반 검증을 활용해 수렴성과 오차 한계의 공식적 검증을 제공하는 것.
• 고성능 추적 성능을 갖춘 복잡하고 불확실한 환경에서 안전한 운동 계획을 가능하게 하는 것.
• 다항식 동역학과 구조적 가정을 필요로 하는 기존 방법들—예를 들어 제곱합 프로그래밍—의 한계를 극복하는 것.

제안 방법

• 제어기와 수축 거리 척도를 모두 깊은 신경망으로 모델링하고, 제어 수축 거리 척도(CCM) 이론에서 유도된 손실 함수를 사용해 함께 훈련한다.
• 훈련 중에 CCM 조건을 제약 조건으로 적용하여 증분 안정성과 유계 추적 오차를 보장한다.
• CCM의 리프시츠 연속성을 활용해 폐쇄 루프 시스템의 결정론적 수렴 보장을 제공한다.
• 지오데식 기반 제어기를 검증하기 위해 최적화 기반 방법을 적용하여, 정확한 지오데식이 계산이 어려운 경우에도 강인성을 확보한다.
• CCM 프레임워크를 활용해 오차 동역학 변환 없이도 임의의 기준 경로를 추적할 수 있도록 한다.
• 학습된 동역학을 신경망으로 표현함으로써 시스템을 지원하고, 공식적 보장과 함께 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망 기반 제어기를 수축 거리 척도와 함께 학습시켜 교란이 존재하는 상황에서도 유계 추적 오차를 보장할 수 있는가?
• RQ2 비선형 제어-아phin 시스템에 대해 학습 기반 제어 프레임워크에서 공식적 수렴성과 오차 한계를 어떻게 보장할 수 있는가?
• RQ3 이 방법은 추적 정확도와 계산 효율성 면에서 제곱합 프로그래밍, 강화 학습, 모델 예측 제어(MPC)보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 이 프레임워크는 신경망으로 표현된 학습된 동역학을 갖는 시스템을 얼마나 잘 처리할 수 있는가?
• RQ5 시스템 동역학에 대한 구조적 가정이 없는 것이 이 방법의 적용 범위나 성능을 제한하는가?

주요 결과

• 제안된 방법은 벤치마크 로봇 시스템에서 제곱합 프로그래밍, 강화 학습, 모델 예측 제어(MPC)보다 낮은 추적 오차를 달성한다.
• 기존 방법보다 더 빠른 실행 속도를 제공하며, 실시간 운동 계획에 특히 유리하다.
• 학습된 수축 거리 척도의 리프시츠 연속성을 통해 수렴성과 유계 오차 보장을 공식적으로 제공한다.
• 신경망으로 학습된 동역학을 갖는 시스템을 성공적으로 처리하여, 복잡한 실제 로봇 모델에까지 적용 범위를 확장한다.
• 제어기와 거리 척도의 공동 최적화로 후행적 지오데식 계산이 필요 없어져 계산 오버헤드가 감소한다.
• 검증 실험을 통해 학습된 제어기가 다양한 로봇 시스템에서 유계 교란 조건 하에서도 유계 추적 오차를 유지하는 것으로 확인되었다.