[논문 리뷰] A Review of Safe Reinforcement Learning: Methods, Theory and Applications

Shangding Gu, Long Yang외 5명|arXiv (Cornell University)|2022. 05. 20.

Safety Systems Engineering in Autonomy인용 수 101

한 줄 요약

이 논문은 안전 강화학습을 조사하고, 2H3W 프레임워크(Safety Policy, Safety Complexity, Safety Applications, Safety Benchmarks, Safety Challenges)를 도입하며, 모델 기반 및 모델-프리 방법을 분석하고 이론, 벤치마크, 실세계 적용에 대해 논의한다.

ABSTRACT

Reinforcement Learning (RL) has achieved tremendous success in many complex decision-making tasks. However, safety concerns are raised during deploying RL in real-world applications, leading to a growing demand for safe RL algorithms, such as in autonomous driving and robotics scenarios. While safe control has a long history, the study of safe RL algorithms is still in the early stages. To establish a good foundation for future safe RL research, in this paper, we provide a review of safe RL from the perspectives of methods, theories, and applications. Firstly, we review the progress of safe RL from five dimensions and come up with five crucial problems for safe RL being deployed in real-world applications, coined as "2H3W". Secondly, we analyze the algorithm and theory progress from the perspectives of answering the "2H3W" problems. Particularly, the sample complexity of safe RL algorithms is reviewed and discussed, followed by an introduction to the applications and benchmarks of safe RL algorithms. Finally, we open the discussion of the challenging problems in safe RL, hoping to inspire future research on this thread. To advance the study of safe RL algorithms, we release an open-sourced repository containing the implementations of major safe RL algorithms at the link: https://github.com/chauncygu/Safe-Reinforcement-Learning-Baselines.git.

연구 동기 및 목표

• RL에서 안전성 개념을 정의하고 이를 기존 정의와 연결한다.
• 다섯 가지 핵심 안전-RL 문제(2H3W)와 실세계 배치에 대한 시사점을 식별한다.
• 안전한 모델 기반 및 모델 프리 알고리즘을 이론적 및 실증적 통찰과 함께 조사한다.
• 향후 연구를 안내하기 위한 안전 벤치마크, 적용 사례 및 도전 과제에 대해 논의한다.
• 분야를 지원하기 위한 오픈 벤치마크 스위트와 오픈 소스 구현을 제공한다.

제안 방법

• 안전 강화학습을 제약 마르코프 결정 과정(CMDP)으로 프레이밍한다.
• 안전한 모델 기반 RL 접근법(Lyapunov, MPC, Gaussian processes, formal methods)과 수렴 분석을 고찰한다.
• 정책 기반 및 가치 기반의 모델 프리 안전 RL 접근법을 조사하며, CPO와 primal-dual 방법을 포함한다.
• 표/선형 및 심층 설정에서 안전 RL 방법의 샘플 복잡도와 수렴에 대해 논의한다.
• 안전 벤치마크(예: AI Safety Gridworlds, Safety Gym, Safe MAMuJoCo)와 안전을 위한 비용/보상 함수 설계를 제시한다.
• 제공된 GitHub 저장소 링크에서 오픈 소스 벤치마크 스위트와 튜토리얼을 제공한다.

실험 결과

연구 질문

• RQ1 RL에서 서로 다른 안전 정의에 따라 안전한 정책을 구성하는 요건은 무엇인가?
• RQ2 이론적 보장을 갖춘 CMDP-안전 RL 문제를 어떻게 형식화하고 해결할 수 있는가?
• RQ3 실제 상황에서 안전 RL 방법의 샘플 복잡도는 무엇이며, 특히 깊고 고차원 문제에서 어떻게 되는가?
• RQ4 보상 최적화와 함께 안전 성능을 공정하게 평가하는 벤치마크는 무엇인가?
• RQ5 실세계, 다중 에이전트, 적대적 설정에서 안전 RL의 주요 도전 과제와 남은 질문은 무엇인가?

주요 결과

• 이 논문은 안전 정책, 안전 복잡도, 안전 적용, 안전 벤치마크, 안전 도전 과제에 대해 Safe RL 연구를 구조화하는 2H3W 프레임워크를 제시한다.
• 모델 기반 및 모델 프리 접근법( Lyapunov 기반 및 Gaussian-process 기반 방법 포함)으로 안전 RL을 분석하고 이들의 수렴 특성을 논의한다.
• CMDP 기반 방법(프라이멀-듀얼, CVaR, 제약 정책 최적화)을 조사하고 안전 보장과 계산 비용 간의 트레이드오프를 강조한다.
• 다수의 현실 세계 적용 사례(자율 주행, 로봇공학, 영상 압축)과 여러 안전 벤치마크(AI Safety Gridworlds, Safety Gym, Safe MAMuJoCo, Safe MARobosuite)를 검토한다.
• 저자들은 재현성과 안전 RL 연구의 진전 촉진을 위한 벤치마크 스위트와 오픈 소스 구현을 공개한다.