[논문 리뷰] KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed Stability in Nonlinear Dynamical Systems

Sahin Lale, Yuanyuan Shi외 4명|arXiv (Cornell University)|2022. 06. 03.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

KCRL는 정책 최적화에 선형 행렬 부등식 제약 조건으로 크라소브스키의 리아푸노프 함수 구성 방식을 통합하여, 알려지지 않은 비선형 동적 시스템에 대해 점점 수렴하는 안정성을 보장하는 모델 기반 강화학습 프레임워크를 제안한다. 랜덤 푸리에 특징(RFF)을 사용해 시스템 동역학을 학습하고, 원시-쌍대 알고리즘을 통해 안정성을 강제함으로써, 샘플 복잡도 상한 $χ\tilde{O}\left(\left(\frac{2\bar{G}\|M\|(1+L_{u})+\|M\|(1+L_{u})^{2}}{\bar{\epsilon}-\epsilon_{pd}}\right)^{3}\right)$ 을 갖는 유한 시간 안정화를 달성하며, $D^2$ 개의 샘플 이후 안정 정책을 보장한다.

ABSTRACT

Learning a dynamical system requires stabilizing the unknown dynamics to avoid state blow-ups. However, current reinforcement learning (RL) methods lack stabilization guarantees, which limits their applicability for the control of safety-critical systems. We propose a model-based RL framework with formal stability guarantees, Krasovskii Constrained RL (KCRL), that adopts Krasovskii's family of Lyapunov functions as a stability constraint. The proposed method learns the system dynamics up to a confidence interval using feature representation, e.g. Random Fourier Features. It then solves a constrained policy optimization problem with a stability constraint based on Krasovskii's method using a primal-dual approach to recover a stabilizing policy. We show that KCRL is guaranteed to learn a stabilizing policy in a finite number of interactions with the underlying unknown system. We also derive the sample complexity upper bound for stabilization of unknown nonlinear dynamical systems via the KCRL framework.

연구 동기 및 목표

• 안전 중심 비선형 시스템에 대한 모델리스 강화학습에서 공식적인 안정성 보장을 부족한 문제를 해결하기 위해.
• 리아푸노프 함수 구성에 크라소브스키 방법을 활용하여 제어 이론적 안정성 분석을 온라인 강화학습에 통합하기 위해.
• 알려지지 않은 비선형 동적 시스템에서 안정 정책을 학습하기 위한 유한 시간 샘플 복잡도 상한을 제공하기 위해.
• 학습된 자코비안 추정치를 통한 정책 최적화 제약 조건을 통해 모델 불확실성에도 불구하고 안정성을 유지하기 위해.

제안 방법

• KCRL은 알려지지 않은 시스템 동역학을 신뢰 구간 내에서 표현하고 학습하기 위해 랜덤 푸리에 특징(RFF)을 사용한다.
• 안정성 제약 조건이 닫힌 루프 시스템의 자코비안에 대한 선형 행렬 부등식으로 표현되는 제약 정책 최적화 문제를 설정한다.
• 이 프레임워크는 원시-쌍대 최적화 접근법을 사용하여 제약 문제를 해결하며, 수렴 시 안정성 제약 조건이 충족됨을 보장한다.
• 추정된 자코비안이 진짜 자코비안으로부터 유한한 오차 범위 내에 유지될 경우, 학습된 정책이 진짜 시스템을 안정화함을 보장한다.
• 채움 거리(fill distance)와 근사 오차 상한을 활용하여 안정성 조건이 전체 상태 공간에서 유지됨을 보장한다.
• 알고리즘은 에포크 단위로 작동하며, 에포크 길이가 $D^2$로 설정되며, 여기서 $D$는 모델 표현에 사용된 RFF의 수이다.

실험 결과

연구 질문

• RQ1 모델 기반 강화학습 프레임워크가 안정성 오ракulum이 없이도 알려지지 않은 비선형 동적 시스템에 대해 유한 시간 안정화를 보장할 수 있는가?
• RQ2 리아푸노프 함수 구성에 대한 크라소브스키 방법을 학습 기반 정책 최적화 프레임워크에 통합하여 안정성을 보장할 수 있는가?
• RQ3 RFF 기반 동역학 추정과 제약 최적화를 사용할 때 안정 정책을 학습하기 위해 필요한 샘플 복잡도는 얼마인가?
• RQ4 모델 불확실성은 학습된 정책의 안정성에 어떤 영향을 미치며, 이를 제한하여 강건성을 확보할 수 있는가?

주요 결과

• 모델 추정 오차가 유한할 경우, KCRL은 $D^2$ 개의 샘플 이후 평형 집합 $S_e$ 근처에서 닫힌 루프 시스템의 점점 수렴하는 안정성을 보장한다.
• 안정화를 위한 샘플 복잡도 상한은 $\mathcal{\tilde{O}}\left(\left(\frac{2\bar{G}\|M\|(1+L_{u})+\|M\|(1+L_{u})^{2}}{\bar{\epsilon}-\epsilon_{pd}}\right)^{3}\right)$ 이며, 여기서 $\bar{\epsilon}$ 는 진짜 안정성 마진이고 $\epsilon_{pd}$ 는 근사 오차 상한이다.
• 원시-쌍대 방법은 학습된 동역학이 존재하는 상황에서도 수렴 시 크라소브스키 안정성 제약 조건이 충족됨을 보장한다.
• 에포크 길이가 $D^2$일 경우, 자코비안 추정 오차 $\varepsilon_J$ 는 $\mathcal{\tilde{O}}(D^{-1/3})$ 으로 유한해지며, 이는 $\epsilon_i \leq \bar{\epsilon} - \epsilon_{pd}$ 일 때 안정성을 보장한다.
• 채움 거리 $h$ 가 $\bar{\epsilon} - \epsilon_{pd} > 0$ 를 만족하도록 요구함으로써, 전체 상태 공간에서 안정성이 보장된다. 여기서 $\epsilon_{pd} = 2\bar{G}\|M\|M_G h$ 이다.
• 에포크 길이가 $D^2$ 로 설정될 경우 KCRL는 단일 에포크 내에서 안정화를 달성하며, 이후 에포크는 추정 오차가 감소하지 않기 때문에 안정성이 유지된다.