[논문 리뷰] Provably Safe Reinforcement Learning: Conceptual Analysis, Survey, and Benchmarking

Hanna Krasowski, Jakob Thumm외 4명|arXiv (Cornell University)|2022. 05. 13.

Safety Systems Engineering in Autonomy인용 수 9

한 줄 요약

이 논문은 연속적 및 이산적 행동 공간 모두에 대해 증명 가능하게 안전한 강화학습(RL) 방법을 행동 치환, 행동 투영, 행동 마스킹으로 통합된 분류로 제안하며, 이론적 기초를 제공한다. 역퍼널드 및 큐드로터 안정화 실험에서 행동 치환 전략이 다른 방법들보다 뛰어나며, 안전성 검증 작동 시 보상 페널티를 적용할 경우 더욱 뛰어난 성능을 보였다.

ABSTRACT

Ensuring the safety of reinforcement learning (RL) algorithms is crucial to unlock their potential for many real-world tasks. However, vanilla RL and most safe RL approaches do not guarantee safety. In recent years, several methods have been proposed to provide hard safety guarantees for RL, which is essential for applications where unsafe actions could have disastrous consequences. Nevertheless, there is no comprehensive comparison of these provably safe RL methods. Therefore, we introduce a categorization of existing provably safe RL methods, present the conceptual foundations for both continuous and discrete action spaces, and empirically benchmark existing methods. We categorize the methods based on how they adapt the action: action replacement, action projection, and action masking. Our experiments on an inverted pendulum and a quadrotor stabilization task indicate that action replacement is the best-performing approach for these applications despite its comparatively simple realization. Furthermore, adding a reward penalty, every time the safety verification is engaged, improved training performance in our experiments. Finally, we provide practical guidance on selecting provably safe RL approaches depending on the safety specification, RL algorithm, and type of action space.

연구 동기 및 목표

• 연속적 및 이산적 행동 공간 모두에서 증명 가능하게 안전한 RL에 대한 통합 개념적 프레임워크를 수립하기 위해.
• 기존 문헌에서 증명 가능하게 안전한 RL 방법 간의 체계적 비교 및 벤치마킹 부족 문제를 해결하기 위해.
• 안전 사양, RL 알고리즘, 행동 공간 유형을 바탕으로 안전한 RL 접근법을 선택하는 데 실용적 지침을 제공하기 위해.
• 표준 제어 벤치마크에서 세 가지 행동 수정 전략(치환, 투영, 마스킹)의 성능을 경험적으로 평가하기 위해.
• 실제 시스템에 적용 가능한 증명 가능하게 안전한 RL의 적용성 및 효율성을 향상시키기 위한 열린 과제와 향후 연구 방향을 규명하기 위해.

제안 방법

• 행동 수정 방식에 따라 증명 가능하게 안전한 RL 방법을 세 가지 유형으로 분류하는 새로운 분류 체계를 제안: 행동 치환, 행동 투영, 행동 마스킹.
• 연속적 행동 공간에 대한 행동 마스킹의 첫 번째 형식적 수식을 제안하여 제약 최적화를 통한 안전 행동 선택을 가능하게 한다.
• 안전성 검증 함수(예: 제어 장벽 함수, HJI 도달 가능성)를 사용하여 안전 행동 집합을 정의하고, 훈련 및 배포 중 하드한 안전 보장을 확보한다.
• 표준 RL 알고리즘(SAC, PPO, DQN 등)과 안전성 강화를 통합하기 위해 행동 선택 과정을 수정하면서도 학습 동역학을 유지한다.
• 안전성 검증이 작동할 경우 보상 페널티 메커니즘을 적용하여 에이전트가 더 효율적으로 안전한 정책을 학습하도록 유도한다.
• 동일한 조건에서 2차원 역퍼널드 및 큐드로터 안정화 작업에서 세 가지 행동 수정 전략을 비교하기 위해 제어 실험을 수행한다.

실험 결과

연구 질문

• RQ1 증명 가능하게 안전한 RL 방법은 행동 수정 전략에 기반해 어떻게 시스템적으로 분류될 수 있는가?
• RQ2 연속적 및 이산적 행동 공간에서 증명 가능하게 안전한 RL의 개념적 기초와 형식적 보장 조건는 무엇인가?
• RQ3 표준 벤치마크에서 행동 치환, 행동 투영, 행동 마스킹는 학습 성능 및 안전성 내성 측면에서 어떻게 비교되는가?
• RQ4 안전성 검증이 작동할 경우 보상 페널티를 추가하면 훈련 수렴성과 정책 품질에 어떤 영향을 미치는가?
• RQ5 안전 사양, RL 알고리즘, 행동 수정 전략의 어떤 조합이 실세계 제어 작업에서 최적의 성능을 낼 수 있는가?

주요 결과

• 모든 테스트된 증명 가능하게 안전한 RL 방법은 두 벤치마크에서 모두 훈련 및 배포 중 안전성 제약 조건을 성공적으로 준수하였다.
• 행동 치환 전략은 역퍼널드 및 큐드로터 작업에서 학습 속도와 최종 성능 측면에서 행동 투영 및 행동 마스킹을 일관되게 뛰어넘었다.
• 안전성 검증 함수가 작동할 때마다 보상 페널티를 도입함으로써 훈련 성능 향상과 정책 수렴성이 크게 향상되었다.
• 제안된 분류 체계는 기존 및 향후 증명 가능하게 안전한 RL 방법의 분류 및 비교에 명확하고 일관된 프레임워크를 제공한다.
• 행동 마스킹은 연속적 행동 공간으로 성공적으로 확장되어 고차원 제어에서의 형식적 안전 보장에 새로운 길을 열었다.
• 본 연구는 학습 튜플(예: 보상 형태 조정, 탐색 전략)의 선택이 특히 안전한 RL 환경에서 에이전트 성능에 상당한 영향을 미친다는 것을 드러냈다.