[논문 리뷰] Safe Exploration in Reinforcement Learning: A Generalized Formulation and Algorithms

Akifumi Wachi, Wataru Hashimoto외 2명|arXiv (Cornell University)|2023. 10. 05.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 일반화된 안전 탐색(GSE) 공식화와, 비제약 강화학습(RL) 알고리즘과 불확실성 측정기법을 조합함으로써 훈련 중 고확률 안전성을 보장하는 메타알고리즘 MASE를 제안한다. MASE는 탐색 기간 동안조차 안전 제약 위반을 방지하며, Safety Gym 및 격자망 기반 벤치마크에서 최신 기술보다 뛰어난 성능을 보이며 어떠한 안전 위반도 발생시키지 않는다.

ABSTRACT

Safe exploration is essential for the practical use of reinforcement learning (RL) in many real-world scenarios. In this paper, we present a generalized safe exploration (GSE) problem as a unified formulation of common safe exploration problems. We then propose a solution of the GSE problem in the form of a meta-algorithm for safe exploration, MASE, which combines an unconstrained RL algorithm with an uncertainty quantifier to guarantee safety in the current episode while properly penalizing unsafe explorations before actual safety violation to discourage them in future episodes. The advantage of MASE is that we can optimize a policy while guaranteeing with a high probability that no safety constraint will be violated under proper assumptions. Specifically, we present two variants of MASE with different constructions of the uncertainty quantifier: one based on generalized linear models with theoretical guarantees of safety and near-optimality, and another that combines a Gaussian process to ensure safety with a deep RL algorithm to maximize the reward. Finally, we demonstrate that our proposed algorithm achieves better performance than state-of-the-art algorithms on grid-world and Safety Gym benchmarks without violating any safety constraints, even during training.

연구 동기 및 목표

• 강화학습에서 기존의 안전 탐색 문제들을 하나의 일반화된 공식화로 통합하기 위해.
• 훈련 중 높은 확률로 안전성을 보장하면서도 효과적인 정책 최적화를 가능하게 하는 메타알고리즘 MASE를 개발하기 위해.
• 이론적으로 타당한 안전 강화학습과 실용적인 딥 강화학습 응용 간 격차를 메우기 위해 이론적 보장을 제공하고 실증적 성능도 확보하기 위해.
• 학습 효율성이나 보상 성능를 희생시키지 않고도 안전 탐색을 달성할 수 있는지 입증하기 위해.
• 안전 핵심 환경에서 이론적 분석과 실용적 구현을 모두 지원하는 프레임워크를 제공하기 위해.

제안 방법

• 누적, 상태, 즉각적 안전 제약을 모두 포함하는 통합 프레임워크로 일반화된 안전 탐색(GSE) 문제를 공식화하기 위해.
• 비제약 RL 알고리즘과 δ-불확실성 측정기법을 통합하여 사전에 안전 위반을 예측하는 메타알고리즘 MASE를 설계하기 위해.
• 두 가지 변형을 구현: 이론적 안전성과 근사 최적성 보장을 위한 GLM-MASE(일반화선형모형 사용), 그리고 딥 강화학습과 결합된 가우시안 프로세스를 활용한 실용적 구현을 위한 GP-MASE.
• 안전을 강제하기 위해 비상 정지 메커니즘을 도입하여 실제 제약 위반 발생 이전에 위험한 행동에 대해 징벌하기 위해.
• 불확실성 측정을 통해 안전 제약 위반의 확률을 추정함으로써 사전에 위험을 피할 수 있도록 하기 위해.
• 안정된 학습을 보장하기 위해 변환된 MASE 환경에서 TRPO를 정책 최적화에 활용하기 위해.

실험 결과

연구 질문

• RQ1 통합된 공식화가 기존의 강화학습에서의 안전 탐색 문제들을 일반화할 수 있는가?
• RQ2 메타알고리즘이 훈련 중에 고확률 안전성을 보장하면서도 강력한 학습 성능 유지를 할 수 있는가?
• RQ3 불확실성 측정과 비상 정지 메커니즘을 조합함으로써 제약 위반 없이 안전 탐색을 달성할 수 있는가?
• RQ4 MASE는 최신 기술의 안전 강화학습 알고리즘과 비교해 안전성 및 보상 성능 측면에서 어떻게 성과를 내는가?
• RQ5 Safety Gym과 같은 복잡하고 고차원적인 환경에서도 이론적 안전 보장이 유지될 수 있는가?

주요 결과

• MASE는 Safety Gym 및 격자망 기반 벤치마크에서 훈련 중이더라도 모든 에피소드에서 모든 안전 제약을 충족하며, 기존의 기준 모델들과 달리 빈번한 제약 위반을 경험하지 않는다.
• Sauté RL과 같은 최신 기술 알고리즘보다 더 뛰어난 누적 보상 성능를 달성하면서도 완전한 안전 준수를 유지한다.
• TRPO, TRPO-Lagrangian, CPO 기준 모델들은 특히 초기 훈련 단계에서 빈번히 안전 제약을 위반한다.
• MASE의 수렴 정책는 다른 기준 모델들보다 누적 보상 측면에서 성능이 열 劣하나, 이는 불확실성 측정기법과 비상 정지 메커니즘의 보수적인 성향 때문이라고 저자들이 설명한다.
• GLM-MASE는 일반화선형모형 가정 하에 안전성과 근사 최적성 보장을 이론적으로 제공한다.
• GP-MASE는 가우시안 프로세스 기반의 불확실성 추정과 딥 강화학습을 성공적으로 융합하여 고차원 환경에서의 실용적 구현을 가능하게 하였다.