[논문 리뷰] SafeRL-Kit: Evaluating Efficient Reinforcement Learning Methods for Safe Autonomous Driving

Linrui Zhang, Qin Zhang외 3명|arXiv (Cornell University)|2022. 06. 17.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 안전한 자율주행을 위한 통합형 오프-폴리시 강화학습 툴킷인 SafeRL-Kit를 소개한다. 이 툴킷은 새로운 1차 최적화 방법인 정확한 페널티 최적화(EPO)를 포함한 최첨단 안전 강화학습 알고리즘을 특징으로 하며, 안정적인 학습과 뛰어난 샘플 효율성으로 제약 조건 위반 없이 뛰어난 성능을 달성한다. SpeedLimit 및 MetaDrive와 같은 벤치마크 환경에서 기존 방법들을 능가한다.

ABSTRACT

Safe reinforcement learning (RL) has achieved significant success on risk-sensitive tasks and shown promise in autonomous driving (AD) as well. Considering the distinctiveness of this community, efficient and reproducible baselines are still lacking for safe AD. In this paper, we release SafeRL-Kit to benchmark safe RL methods for AD-oriented tasks. Concretely, SafeRL-Kit contains several latest algorithms specific to zero-constraint-violation tasks, including Safety Layer, Recovery RL, off-policy Lagrangian method, and Feasible Actor-Critic. In addition to existing approaches, we propose a novel first-order method named Exact Penalty Optimization (EPO) and sufficiently demonstrate its capability in safe AD. All algorithms in SafeRL-Kit are implemented (i) under the off-policy setting, which improves sample efficiency and can better leverage past logs; (ii) with a unified learning framework, providing off-the-shelf interfaces for researchers to incorporate their domain-specific knowledge into fundamental safe RL methods. Conclusively, we conduct a comparative evaluation of the above algorithms in SafeRL-Kit and shed light on their efficacy for safe autonomous driving. The source code is available at \href{ https://github.com/zlr20/saferl_kit}{this https URL}.

연구 동기 및 목표

• 안전이 핵심인 자율주행 작업에 특화된 효율적이고 재현 가능하며 최신 기술 기반의 안전 강화학습 기준선의 부족을 해결하기 위해.
• 과거 경험과 인간의 시연 데이터로부터 샘플 효율적으로 학습할 수 있도록 통합형 오프-폴리시 프레임워크를 제공하기 위해.
• 실제 자율주행 환경에서 최신 안전 강화학습 알고리즘—특히 새로운 방법들—을 평가하여 뛰어난 성능을 보이는 접근 방식을 규명하기 위해.
• 자율주행 분야의 안전 강화학습을 위한 새로운 1차 최적화 방법인 정확한 페널티 최적화(EPO)를 도입하고 검증하기 위해.
• 연구자가 도메인 특화 지식을 핵심 안전 강화학습 알고리즘에 쉽게 통합할 수 있도록 확장 가능하고 모듈러한 인터페이스를 제공하기 위해.

제안 방법

• SafeRL-Kit는 샘플 효율성을 향상시키고 과거 경험을 재사용할 수 있도록 오프-폴리시 환경에서 최첨단 안전 강화학습 알고리즘을 통합한다.
• 이 툴킷은 다섯 가지 기존 방법—안전 레이어, 복구 강화학습, 오프-폴리시 라그랑주안, 탈출 가능한 액터-크리틱(FAC), 그리고 새로운 방법인 정확한 페널티 최적화(EPO)—을 통합한다.
• EPO는 상태에 따라 변하는 라그랑주 승수 대신 고정된 페널티 인자와 ReLU 연산자를 사용하여 제약 조건이 있는 최적화 문제를 등가의 무제약 문제로 재구성한다.
• 모든 알고리즘은 오프더쉐프 인터페이스를 갖춘 통합 학습 프레임워크 기반으로 구축되어 모듈러한 확장과 도메인 특화 지식의 통합을 가능하게 한다.
• 프레임워크는 벡터 관측 입력(예: 자동차 상태, LiDAR)을 지원하며 현대 딥러닝 라이브러리와의 호환성을 고려해 설계되어 있다.
• 툴킷은 코드와 함께 공개되며, 기록된 트레이젝터리와 인간의 시범 데이터를 포함한 오프라인 데이터와도 호환되어 자율주행 분야에서의 데이터 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 현대적 오프-폴리시 안전 강화학습 알고리즘은 자율주행 벤치마크에서 안전성, 샘플 효율성, 수렴 안정성 측면에서 어떻게 상호 비교되는가?
• RQ2 EPO와 같은 1차 페널티 기반 방법은 이중 최적화 라그랑주 방법과 비교해 유사하거나 더 뛰어난 성능을 낼 수 있는가? 특히 하이퍼파라미터 민감도를 피할 수 있는가?
• RQ3 학습률과 페널티 인자와 같은 하이퍼파라미터 선택이 안전 강화학습 알고리즘의 학습 안정성과 성능에 미치는 영향은 어떠한가?
• RQ4 오프-폴리시 안전 강화학습 방법은 자율주행 환경에서 오프라인 데이터와 인간의 시범 데이터를 얼마나 효과적으로 활용할 수 있는가?
• RQ5 SafeRL-Kit의 통합 프레임워크는 도메인 특화 안전 제약 조건의 확장성과 통합을 어떻게 지원하는가?

주요 결과

• EPO는 SpeedLimit 환경에서 거의 제로의 비용 수익을 달성하고 신속하게 수렴하며, 안전성과 학습 속도 모두에서 다른 방법들을 능가한다.
• 오프-폴리시 라그랑주안과 탈출 가능한 액터-크리틱은 안전 레이어와 복구 강화학습보다 누적 비용이 현저히 낮아, 더 나은 제약 조건 준수를 보여준다.
• 라그랑주 기반 방법은 라그랑주 승수의 학습률에 매우 민감하며, 잘못 조정될 경우 진동과 성능 저하가 발생한다.
• EPO는 페널티 인자 선택에 대해 강건하다: κ > 5일 경우 성능이 안정적이고 일관되게 유지되어, 이중 최적화 방법보다 조정이 더 쉬운 것으로 나타났다.
• SafeRL-Kit는 온-폴리시 기준선 대비 샘플 복잡도를 최대 10배까지 감소시켜, 유사한 작업에서 수렴에 필요한 상호작용 수를 10M에서 500만~1000만으로 줄였다.
• 통합 프레임워크는 도메인 특화 지식의 원활한 통합을 가능하게 하며, 데이터가 풍부한 자율주행 환경에서의 실사용을 위한 준비가 되어 있다.