[논문 리뷰] Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects.

Fernando Castañeda, Jason J. Choi외 3명|arXiv (Cornell University)|2020. 11. 14.

Gaussian Processes and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 제어-아핀 시스템의 동역학이 불확실할 때, 가우시안 프로세스 회귀와 제어 리아프노프 함수(CLF)를 통합하여 볼록 최적화 기반의 제어기를 제안한다. 복합 커널을 도입하여 상태 및 입력 불확실성을 동시에 모델링하고, GP 상한 신뢰구간을 사용한 확률적 안정성 보장이 가능한 확률적 제약 조건을 포함한 최소 노름 문제를 설정하며, 볼록 GP-CLF-SOCP 설정을 통해 증명 가능한 안정성 제어를 달성한다. 시뮬레이션을 통해 역진자 및 자전거 모델에서 진동수에 가까운 성능을 입증하였다.

ABSTRACT

This paper presents a method to design a min-norm Control Lyapunov Function (CLF)-based stabilizing controller for a control-affine system with uncertain dynamics using Gaussian Process (GP) regression. We propose a novel compound kernel that captures the control-affine nature of the problem, which permits the estimation of both state and input-dependent model uncertainty in a single GP regression problem. Furthermore, we provide probabilistic guarantees of convergence by the use of GP Upper Confidence Bound analysis and the formulation of a CLF-based stability chance constraint which can be incorporated in a min-norm optimization problem. We show that this resulting optimization problem is convex, and we call it Gaussian Process-based Control Lyapunov Function Second-Order Cone Program (GP-CLF-SOCP). The data-collection process and the training of the GP regression model are carried out in an episodic learning fashion. We validate the proposed algorithm and controller in numerical simulations of an inverted pendulum and a kinematic bicycle model, resulting in stable trajectories which are very similar to the ones obtained if we actually knew the true plant dynamics.

연구 동기 및 목표

• 입력 동역학이 불확실하고 부분적으로 알려져 있을 때 제어-아핀 시스템을 안정화하는 데 도전하는 문제를 해결한다.
• 상태와 입력에 의존하는 불확실성을 단일 GP 회귀 모델에서 동시에 포괄하는 데이터 효율적인 학습 프레임워크를 개발한다.
• GP 상한 신뢰구간과 확률적 제약 조건을 활용하여 제어기의 확률적 수렴 보장을 제공한다.
• 최소 노름 제어 입력을 보장하면서도 불확실성 하에서 안정성을 유지하는 볼록 최적화 문제인 GP-CLF-SOCP를 제안한다.
• 실제 동역학을 고려한 시뮬레이션을 통해 제어기 성능을 검증하며, 진짜 동역학이 알려진 경우와 유사한 안정성을 보여준다.

제안 방법

• 제어-아핀 구조를 반영하는 새로운 복합 커널을 제안하여, 단일 GP 회귀 모델 내에서 상태 및 입력에 의존하는 모델 불확실성을 동시에 추정할 수 있도록 한다.
• 학습된 동역학의 불확실성을 정량화하기 위해 GP 상한 신뢰구간을 사용하며, 이를 통해 확률적 안정성 보장을 가능하게 한다.
• 최소 노름 최적화 문제에 확률적 제약 조건이 포함된 제어 리아프노프 함수(CLF) 조건을 통합하여, 고도로 확률적인 안정성을 확보한다.
• 안정성과 제어 최소화 문제를 제2차 원형 프로그래밍(SOCP)으로 재구성하여 볼록성을 확보하고 실시간 최적화의 가능성을 높인다.
• 데이터 수집과 반복적인 GP 모델 재학습을 통해 모델 정확도를 향상시키는 에피소드 기반 학습 프레임워크를 도입한다.
• 각 시간 단계에서 도출된 GP-CLF-SOCP를 해결하여, 불확실성 하에서 최소 노름을 갖는 안정화 제어 입력을 계산한다.

실험 결과

연구 질문

• RQ1 단일 GP 회귀 모델이 제어-아핀 시스템에서 상태 및 입력에 의존하는 불확실성을 효과적으로 포괄할 수 있는가?
• RQ2 GP 기반의 불확실성 정량화는 어떻게 제어 리아프노프 함수와 통합되어 확률적 안정성을 보장할 수 있는가?
• RQ3 모델 불확실성 하에서 최소 노름 제어와 확률적 제약 조건이 포함된 볼록 최적화 문제를 구성할 수 있는가?
• RQ4 진짜 동역학이 알려져 있지 않지만 GP 회귀를 통해 추정된 경우, 해당 제어기의 성능은 어떠한가?
• RQ5 에피소드 기반 학습 과정은 시간이 지남에 따라 제어기의 수렴성과 안정성을 어떻게 향상시키는가?

주요 결과

• 제안된 GP-CLF-SOCP 설정은 볼록 최적화 문제로 표현되어 효율적이고 신뢰할 수 있는 실시간 제어 계산이 가능하다.
• 역진자 및 운동역학적 자전거 모델 모두에서 안정된 궤적을 달성하였으며, 진짜 동역학이 알려진 경우와 유사한 성능을 보였다.
• 복합 커널의 사용은 상태 및 입력 불확실성을 정확하게 동시 모델링할 수 있게 하여, 별도의 모델링 방식보다 정밀도를 향상시켰다.
• GP 상한 신뢰구간 분석을 통한 확률적 수렴 보장이 가능하여, 불확실성 하에서도 고도로 안정된 제어를 보장한다.
• 에피소드 기반 학습 과정은 시간이 지남에 따라 모델 정확도를 향상시켜 제어 성능 향상과 추정 동역학의 불확실성 감소를 이끌어냈다.
• 제어 효율성(최소 노름)을 유지하면서도 안정성을 확보하여 성능과 강건성 사이의 우수한 트레이드오프를 보였다.