[논문 리뷰] Saute RL: Almost Surely Safe Reinforcement Learning Using State Augmentation

Aivar Sootla, Alexander I. Cowen-Rivers외 5명|arXiv (Cornell University)|2022. 02. 14.

Autonomous Vehicle Technology and Safety인용 수 9

한 줄 요약

이 논문은 안전 예산을 상태 공간에 안전성 제약 조건으로 통합함으로써 거의 확실히 안전한 강화학습을 위한 Sauté RL을 제안한다. 이는 제약 조건을 확률 1로 이행함으로써 이루어지며, 예산이 소진되었을 경우 무한한 벌점을 할당하는 보상 재구성 기법을 통해 안전성을 보장한다. 이 방법은 표준 오프더섀프 RL 알고리즘과의 호환성을 유지하면서도, 펜듈럼 스윙업 및 자동차 주행과 같은 안전이 중요한 환경에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

Satisfying safety constraints almost surely (or with probability one) can be critical for the deployment of Reinforcement Learning (RL) in real-life applications. For example, plane landing and take-off should ideally occur with probability one. We address the problem by introducing Safety Augmented (Saute) Markov Decision Processes (MDPs), where the safety constraints are eliminated by augmenting them into the state-space and reshaping the objective. We show that Saute MDP satisfies the Bellman equation and moves us closer to solving Safe RL with constraints satisfied almost surely. We argue that Saute MDP allows viewing the Safe RL problem from a different perspective enabling new features. For instance, our approach has a plug-and-play nature, i.e., any RL algorithm can be "Sauteed". Additionally, state augmentation allows for policy generalization across safety constraints. We finally show that Saute RL algorithms can outperform their state-of-the-art counterparts when constraint satisfaction is of high importance.

연구 동기 및 목표

• 항공기 운영이나 자율 주행과 같은 실제 RL 응용 분야에서 제약 조건이 확률 1로 이행되도록 보장하는 데 도전한다.
• 기존의 안전 강화학습 방법들이 제약 조건을 기대값이나 높은 확률로만 보장할 뿐 거의 확실히 보장하지 못하는 한계를 극복한다.
• 학습 목표를 수정하지 않고도 어떤 표준 RL 알고리즘과도 통합 가능한 일반 목적의 플러그 앤 플레이 프레임워크를 개발한다.
• 상태 증강을 통해 다양한 안전 예산에 대해 정책의 일반화를 가능하게 하여, 한 정책이 여러 안전 임계값을 처리할 수 있도록 한다.

제안 방법

• 남은 안전 예산을 추가 상태 변수로 통합하여 안전 증강(Sauté) MDP를 도입함으로써 제약 조건 이행을 상태 기반 보상 재구성으로 전환한다.
• 안전 예산이 소진되었을 경우 무한한 음의 보상을 할당하는 보상 함수 재구성으로, 예산을 위반하는 모든 경로가 엄격히 벌점받도록 보장한다.
• 벨먼 방정식이 성립하는 새로운 MDP를 구성함으로써, PPO, TRPO, SAC와 같은 표준 크리틱 기반 RL 알고리즘의 사용을 가능하게 한다.
• OpenAI Gym 환경에 래퍼로 구현하여 기존의 어떤 RL 알고리즘도 간편하게 'sauté'할 수 있도록 한다.
• 상태 증강을 통해 일반화를 실현: 한 안전 예산에서 훈련된 정책이 다른 예산으로도 일반화 가능하며, 안전 예산을 무작위로 초기화함으로써 여러 예산 간 동시 훈련이 가능하다.
• 모델리스(PPO, SAC 등) 및 모델기반(MBPO, PETS 등) 강화학습 알고리즘 모두에 대해 실증 평가를 통해 호환성을 입증한다.

실험 결과

연구 질문

• RQ1 일반적이고 모듈화된 RL 프레임워크를 통해 제약 조건을 확률 1로 이행할 수 있는가?
• RQ2 안전 예산의 상태 증강이 표준 RL 알고리즘의 성능 및 안정성에 어떤 영향을 미치는가?
• RQ3 한 안전 예산에서 훈련된 정책이 여러 다른 안전 예산으로 일반화될 수 있는가?
• RQ4 Sauté RL 방법은 라그랑주 기반 및 기타 최신 기술의 안전 강화학습 방법보다 제약 조건 이행 및 과제 성능 측면에서 뛰어나게 되는가?
• RQ5 아키텍처 수정 없이도 이 방법을 모델리스 및 모델기반 강화학습 알고리즘 모두에 적용할 수 있는가?

주요 결과

• Sauté TRPO는 더블 펜듈럼 환경에서 100개의 경로 전부에서 100% 제약 조건 이행을 달성했으며, 최대 안전 비용은 항상 40의 예산 이하로 유지되었다.
• 펜듈럼 스윙업 과제에서 Sauté SAC는 [64,64] 네트워크를 사용하여 평균 안전 비용을 39.7 이하로 유지했으며, 라그랑주 기반 SAC보다 뛰어나고 거의 확실히 안전한 성능을 보였다.
• 리처 환경에서 Sauté TRPO는 평균 안전 비용 4.51, 90% 분위수 8.78을 기록했으며, CPO(9.95) 및 TRPO-Lagrangian(6.44)보다 뚜렷이 뛰어난 안전성 성능을 보였다.
• 포인트 목표 및 자동차 목표 과제에서 Sauté RL은 90%의 경우에서 최대 안전 비용이 거의 0.00이었고, PID-Lagrangian 및 CVaR-TRPO와 같은 기준 방법은 각각 최대 59.78 및 58.04까지 기록했다.
• 이 방법은 일반화 성능을 입증했다: 한 안전 예산에서 훈련된 정책이 다른 예산으로도 성공적으로 적용되었으며, 안전 예산을 무작위로 초기화함으로써 여러 임계값 간 동시 훈련이 가능했다.
• 특히 제약 조건 이행을 평균 성능보다 우선시할 때 안전이 중요한 벤치마크에서 Sauté RL은 최신 기술보다 뛰어난 성능을 보였다.