[논문 리뷰] Second-Order Sampling-Based Stability Guarantee for Data-Driven Control Systems

Yuji Ito, Kenji Fujimoto|arXiv (Cornell University)|2017. 07. 19.

Advanced Control Systems Optimization참고 문헌 13인용 수 5

한 줄 요약

이 논문은 비선형 시스템의 안정적이고 데이터 기반 제어를 가능하게 하기 위해 가우시안 커널 기반 함수에 대해 2차 샘플링 기반 경계를 제안한다. 안정성 부등식에 대한 $O(\tau^2)$ 경계를 활용하고 비선형 최적 제어 이론과 융합함으로써, 1차 방법에 비해 훨씬 낮은 계산 복잡도로 가우시안 프로세스 동역학에 대해 안정화(하위)최적 제어기를 설계한다.

ABSTRACT

This study presents a sampling-based method to guarantee robust stability of general control systems with uncertainty. The method allows the system dynamics and controllers to be represented by various data-driven models, such as Gaussian processes and deep neural networks. For nonlinear systems, stability conditions involve inequalities over an infinite number of states in a state space. Sampling-based approaches can simplify these hard conditions into inequalities discretized over a finite number of states. However, this simplification requires margins to compensate for discretization residuals. Large margins degrade the accuracy of stability evaluation, and obtaining appropriate margins for various systems is challenging. This study addresses this challenge by deriving second-order margins for various nonlinear systems containing data-driven models. Because the size of the derived margins decrease quadratically as the discretization interval decreases, the stability evaluation is more accurate than with first-order margins. Furthermore, this study designs feedback controllers by integrating the sampling-based approach with an optimization problem. As a result, the controllers can guarantee stability while simultaneously considering control performance.

연구 동기 및 목표

• 데이터 기반 제어 시스템에서 가우시안 프로세스(GP)-기반 동역학에 대해 안정성을 보장하는 데 도전하는 것.
• 상태 공간 전역에서 무한한 안정성 조건을 평가하는 데 발생하는 계산 부담을 완화하는 것.
• 사전 정의된 제어 법칙이 필요 없이 동시에 안정화 제어기를 설계하는 방법을 개발하는 것.
• 가우시안 프로세스 기반 함수의 2차 경계를 비선형 최적 제어 이론과 융합하여 안정성 인증을 통합하는 것.

제안 방법

• 다항식, GPs, 가우시안 믹스처, 그 합/곱을 포함한 가우시안 커널 기반 함수 $\Phi(x)$에 대해 2차 $O(\tau^2)$ 경계를 유도한다.
• 거리 $\tau$를 가진 샘플된 상태를 이용하여 연속 조각별 애파인(CPA) 방법을 적용해 $\Phi(x)$의 날카운 상한 및 하한 경계를 계산한다.
• 유도된 경계를 리아푸노프 부등식과 하미르톤-자비-벨리만(Hamilton-Jacobi-Bellman, HJB) 방정식에 통합하여 안정성 분석을 수행한다.
• 가장적화를 위해 기저 함수 전개를 통해 값 함수 $\hat{V}(x;\alpha)$를 매개변수화한다.
• 안정성 조건을 만족하는 제어기 매개변수 $\alpha$를 구하기 위해 기울기 기반 최적화 기법을 사용한다.
• 선형화된 LQR 기반의 정규화 및 초기화 전략을 도입하여 수렴성과 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 2차 경계는 GP 기반 제어 시스템에서 안정성 인증을 위해 필요한 샘플 상태 수를 줄일 수 있는가?
• RQ2 사전 정의된 제어 법칙을 가정하지 않고도 GP 동역학에 대해 직접 안정화(하위)최적 제어기를 설계할 수 있는가?
• RQ3 안정성 검증에서 1차 $O(\tau)$ 경계에 비해 $O(\tau^2)$ 경계는 계산 효율성을 얼마나 향상시키는가?
• RQ4 제안된 방법은 안정성 보장을 유지하면서 상태 공간의 광범위한 영역에서 안정성을 보장할 수 있는가?
• RQ5 안정성 보장이 없는 초기 제어기와 비교해 제어기 성능은 어떻게 되는가?

주요 결과

• 제안된 방법은 안정성 부등식에 대해 $O(\tau^2)$ 경계를 달성하여 1차 방법에 비해 필요한 샘플 수를 크게 감소시킨다.
• 제안된 제어기는 시뮬레이션 결과에서 원점 근처를 제외한 대부분의 상태 공간을 안정화하며, 근처에 작은 불안정 영역만 존재한다.
• 초기 제어기는 넓은 불안정 영역을 보였지만, 제안된 제어기는 안정성 플롯에서 흰 영역으로 확인된 바와 같이 대부분의 상태 공간을 안정화한다.
• 유도된 $O(\tau^2)$ 추정치를 활용해 값 함수 $\hat{V}(x;\alpha)$와 도함수 항 $H_{\dot{V}}$가 효과적으로 경계지어져 안정성 인증이 가능해졌다.
• 선형화된 LQR 기반 초기화를 통해 441개의 샘플 상태에서 10,000회 반복 동안 기울기 하강법을 통해 제어기를 성공적으로 최적화하였다.
• 일반형 $\Phi(x) = \sum_j c_j \Phi_j(x)$를 통해 GP 평균 및 분산, 다항식, 가우시안 믹스처 모델 등 다양한 함수에 대해 광범위하게 적용 가능하다.