[논문 리뷰] Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement Learning in Unknown Stochastic Environments

Yixuan Wang, Simon Sinong Zhan외 7명|arXiv (Cornell University)|2022. 09. 29.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 생성 모델 기반 소프트 바리어 함수를 사용하여 미지의 확률적 환경에서 경계가 딱딱한 안전성 확률 제약 조건을 강제하는 새로운 안전 강화 학습 프레임워크를 제안한다. 환경의 동역학, 소프트 바리어 함수, 제어 정책을 동시에 학습하는 이중 최적화 문제를 수립함으로써, 궤적을 따라 안전성 확률 제약 조건을 직접적으로 표현하여 시뮬레이션에서 CMDP 기반 기준보다 훨씬 높은 시스템 안전률을 달성한다.

ABSTRACT

It is quite challenging to ensure the safety of reinforcement learning (RL) agents in an unknown and stochastic environment under hard constraints that require the system state not to reach certain specified unsafe regions. Many popular safe RL methods such as those based on the Constrained Markov Decision Process (CMDP) paradigm formulate safety violations in a cost function and try to constrain the expectation of cumulative cost under a threshold. However, it is often difficult to effectively capture and enforce hard reachability-based safety constraints indirectly with such constraints on safety violation costs. In this work, we leverage the notion of barrier function to explicitly encode the hard safety constraints, and given that the environment is unknown, relax them to our design of \emph{generative-model-based soft barrier functions}. Based on such soft barriers, we propose a safe RL approach that can jointly learn the environment and optimize the control policy, while effectively avoiding unsafe regions with safety probability optimization. Experiments on a set of examples demonstrate that our approach can effectively enforce hard safety constraints and significantly outperform CMDP-based baseline methods in system safe rate measured via simulations.

연구 동기 및 목표

• 안전성이 궤적 상의 어떤 지점에서나 안전하지 않은 영역에 진입할 확률을 제한하는 조건이 요구되는, 미지의 확률적 환경에서 경로 기반의 딱딱한 안전성 제약 조건을 강제하는 데에 도전한다.
• 누적 비용 기대치를 통한 간접적 안전성 제약 조건을 사용하는 CMDP 기반 방법의 한계를 극복하며, 궤적 기반의 안전성 확률을 보장하지 못하는 문제를 해결한다.
• 환경의 동역학, 안전 가이던스를 위한 소프트 바리어 함수, 최적의 제어 정책을 동시에 학습하는 기울기 기반의 종단 간(end-to-end) 차별 가능 프레임워크를 개발한다.
• CMDP 기반 방법이 제공할 수 없는 실용적인 안전성 확률 하한을 제공하면서도, 안전 정책 학습에서 높은 성능을 유지한다.

제안 방법

• 이 방법은 정책, 소프트 바리어 함수, 환경의 확률적 동역학에 대한 생성 모델을 동시에 최적화하는 이중 최적화 문제를 수립한다.
• 실제 환경-정책 닫힘 시스템의 궤적 데이터를 사용하여, 확률적 미분 방정식(SDE)로 표현된 생성 모델을 훈련시켜 알려지지 않은 동역학과 노이즈를 포괄한다.
• 시스템 상태를 안전성 확률로 매핑하는 소프트 바리어 함수를 학습하며, 초기 상태 영역에서는 값이 0에 가까워지고 안전하지 않은 영역에서는 1에 가까워지도록 하여, 안전한 궤적 전파를 보장한다.
• 샘플된 가상 궤적을 따라 바리어 값의 기대값을 최소화하는 기울기 기반 목적 함수를 통해 소프트 바리어 함수를 최적화함으로써, 직접적으로 안전성 확률 제약 조건을 표현한다.
• 학습된 생성 모델에서 생성된 가상 궤적을 기반으로 할인 누적 보상의 최대화를 통해 정책 최적화를 수행함으로써, 안전하고 높은 보상을 얻는 정책 학습을 가능하게 한다.
• 전체 프레임워크는 완전히 기울기 기반 최적화가 가능하며, 동역학, 안전성, 제어의 공동 종단 간 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 안전성이 궤적 상의 어떤 지점에서나 안전하지 않은 상태에 진입할 확률로 정의되는, 미지의 확률적 환경에서 소프트 바리어 함수가 딱딱한 안전성 확률 제약 조건을 효과적으로 표현할 수 있는가?
• RQ2 환경의 확률적 동역학에 대한 생성 모델을 어떻게 활용하여 기울기 기반의 소프트 바리어 함수를 훈련시켜 안전 정책 학습을 이끌 수 있는가?
• RQ3 생성 모델, 소프트 바리어 함수, 정책을 동시에 최적화하는 것이, 간접적인 비용 제약 조건에 의존하는 CMDP 기반 방법보다 더 높은 시스템 안전률을 달성하는가?
• RQ4 제안된 방법이 표준 CMDP 수식에서 달성할 수 없는 실용적인 안전성 확률 하한을 제공할 수 있는가?

주요 결과

• 제안된 방법은 2D 이동, 카트폴 균형 유지를 비롯한 다양한 환경에서 CMDP 기반 기준보다 훨씬 높은 시스템 안전률을 달성한다.
• 각 예제당 500회의 시뮬레이션을 수행한 결과, PPO-L 및 FOCOPS보다 시스템 안전률에서 뛰어나며, UAV 및 로켓 착륙 작업에서 가장 높은 안전률을 기록했다.
• CMDP 기반 접근 방식이 누적 비용 기대치만 제약 조건으로 사용하는 데 반해, 본 방법은 실용적인 안전성 확률 하한을 제공한다.
• 학습된 소프트 바리어 함수는 초기 상태에서는 근처 0에 가까워지고 안전하지 않은 상태에서는 1에 가까워지며, 실제 궤적과 가상 궤적 모두에서 일관된 값을 유지함으로써 생성 모델 학습의 정확성을 나타낸다.
• 실제 환경과 가상 환경에서 유사한 바리어 함수 값과 제어 궤적을 보이며, 생성 모델이 실제 환경의 동역학을 잘 모방하고 있음을 확인했다.
• 높은 안전률에도 불구하고, 본 방법은 상당한 훈련 시간을 요구하며, 카트폴의 경우 약 8시간, UAV 및 로켓 착륙 작업의 경우 최대 1일이 소요되어 계산적 한계를 노출한다.