[논문 리뷰] Joint Synthesis of Safety Certificate and Safe Control Policy using Constrained Reinforcement Learning

Haitong Ma, Changliu Liu외 3명|arXiv (Cornell University)|2021. 11. 15.

Cardiac electrophysiology and arrhythmias인용 수 6

한 줄 요약

이 논문은 동역학 또는 유효한 안전 인증서에 대한 사전 지식이 없이도 안전 인증서와 안전 제어 정책을 동시에 합성하는 새로운 제약 있는 강화학습(CRL) 프레임워크를 제안한다. 에너지 증가를 최소화하는 손실를 정의하고, 라그랑주 기반 CRL의 외부 루프로 통합함으로써, 국소적으로 최적의 안전 정책과 유효한 안전 인증서로 수렴하며, 벤치마크 환경에서 제약 위반이 전혀 발생하지 않는다.

ABSTRACT

Safety is the major consideration in controlling complex dynamical systems using reinforcement learning (RL), where the safety certificate can provide provable safety guarantee. A valid safety certificate is an energy function indicating that safe states are with low energy, and there exists a corresponding safe control policy that allows the energy function to always dissipate. The safety certificate and the safe control policy are closely related to each other and both challenging to synthesize. Therefore, existing learning-based studies treat either of them as prior knowledge to learn the other, which limits their applicability with general unknown dynamics. This paper proposes a novel approach that simultaneously synthesizes the energy-function-based safety certificate and learns the safe control policy with CRL. We do not rely on prior knowledge about either an available model-based controller or a perfect safety certificate. In particular, we formulate a loss function to optimize the safety certificate parameters by minimizing the occurrence of energy increases. By adding this optimization procedure as an outer loop to the Lagrangian-based constrained reinforcement learning (CRL), we jointly update the policy and safety certificate parameters and prove that they will converge to their respective local optima, the optimal safe policy and a valid safety certificate. We evaluate our algorithms on multiple safety-critical benchmark environments. The results show that the proposed algorithm learns provably safe policies with no constraint violation. The validity or feasibility of synthesized safety certificate is also verified numerically.

연구 동기 및 목표

• 안전 제어 정책과 안전 인증서 간의 상호 의존성을 안전 강화학습에서 해결하기 위해.
• 알 수 없는 동역학 시스템에서 제어 법칙이나 완벽한 안전 인증서에 대한 의존도를 제거하기 위해.
• 제약 있는 강화학습을 사용하여 안전 인증서와 안전 정책을 동시에 최적화하는 통합 프레임워크를 개발하기 위해.
• 안전 정책과 유효한 안전 인증서에 대해 공동 최적화의 수렴성을 국소 최적점에서 증명하기 위해.
• 안전 핵심 환경에서 제약 위반이 없이 방법을 검증하기 위해.

제안 방법

• 안전 인증서에서 에너지 증가의 발생을 최소화하는 손실 함수를 정의하여, 이를 합성에 이르게 한다.
• 라그랑주 기반 제약 있는 강화학습(CRL)의 외부 루프로 안전 인증서 최적화를 통합한다.
• 정책, 승수, 안전 인증서 파라미터가 서로 다른 간격으로 업데이트되는 다중 시간스케일 학습 기법을 사용한다.
• 신경망을 사용해 안전 인증서(에너지 함수)를 파arameter화하고, 기울기 업데이트를 통해 정책과 함께 공동으로 훈련시킨다.
• 라그랑주 승수를 사용해 안전 제약을 정책 학습 중에 강제하는 페널티 기반 CRL 설정을 적용한다.
• 안전 정책과 유효한 안전 인증서에 대해 공동 최적화 과정의 수렴성을 이론적으로 증명한다.

실험 결과

연구 질문

• RQ1 시스템의 동역학이나 유효한 안전 인증서에 대한 사전 지식이 없이도 안전 인증서와 안전 제어 정책을 동시에 합성할 수 있는가?
• RQ2 유효한 안전 인증서의 합성을 제약 있는 강화학습 프레임워크에 통합하여 증명 가능한 안전성을 확보할 수 있는가?
• RQ3 안정적인 공동 최적화를 위해 어떤 학습 스케줄과 손실 정의가 필요한가?
• RQ4 제안된 방법이 안전 핵심 환경에서 제약 위반이 전혀 발생하지 않는가?
• RQ5 수동으로 설계된 또는 이전에 학습된 인증서와 비교해, 학습된 안전 인증서는 타당성과 최적성 측면에서 어떻게 다른가?

주요 결과

• 제안된 알고리즘은 여러 안전 핵심 벤치마크 환경에서 제약 위반이 전혀 발생하지 않아 뛰어난 안전성을 입증한다.
• 합성된 안전 인증서는 수치적으로 유효한 것으로 확인되었으며, 커스터마이징된 환경에서 99%의 성공률(초기 히우리스틱 지표의 85% 대비)을 기록했다.
• 비현실성 비율이 기준선의 100%에서 합성된 인증서를 사용한 경우 1%로 감소하여 타당성이 향상됨을 시사한다.
• 추적 오차 평균이 수동 설계된 경우 3.528에서 합성된 경우 3.378로 감소하여, 명시적인 목표 없이도 최적성 향상이 확인되었다.
• 이론적 분석에서 안전 정책과 안전 인증서에 대해 국소 최적점으로 수렴하는 것으로 증명되었다.
• 공동 최적화 프레임워크는 이전 방법보다 안전성과 타당성 측면에서 뛰어나며, 합성된 인증서는 이전의 합성 규칙에 기반한 것보다 덜 보수적인 것으로 나타났다.