[논문 리뷰] Datasets and Benchmarks for Offline Safe Reinforcement Learning

Zuxin Liu, Zijian Guo외 9명|arXiv (Cornell University)|2023. 06. 15.

Autonomous Vehicle Technology and Safety인용 수 5

한 줄 요약

이 논문은 오프라인 안전 강화학습을 위한 종합적인 벤치마크 세트를 소개한다. 이는 정제된 데이터셋, D4RL 스타일의 래퍼, 최신 안전 강화학습 알고리즘의 구현을 포함한다. SafetyGymnasium, BulletSafetyGym, MetaDrive에서 38개의 작업에 걸쳐 체계적인 평가를 가능하게 하며, 광범위한 실험 분석을 통해 다양한 데이터 조건 하에서 알고리즘의 강점, 한계, 상충 관계를 규명한다.

ABSTRACT

This paper presents a comprehensive benchmarking suite tailored to offline safe reinforcement learning (RL) challenges, aiming to foster progress in the development and evaluation of safe learning algorithms in both the training and deployment phases. Our benchmark suite contains three packages: 1) expertly crafted safe policies, 2) D4RL-styled datasets along with environment wrappers, and 3) high-quality offline safe RL baseline implementations. We feature a methodical data collection pipeline powered by advanced safe RL algorithms, which facilitates the generation of diverse datasets across 38 popular safe RL tasks, from robot control to autonomous driving. We further introduce an array of data post-processing filters, capable of modifying each dataset's diversity, thereby simulating various data collection conditions. Additionally, we provide elegant and extensible implementations of prevalent offline safe RL algorithms to accelerate research in this area. Through extensive experiments with over 50000 CPU and 800 GPU hours of computations, we evaluate and compare the performance of these baseline algorithms on the collected datasets, offering insights into their strengths, limitations, and potential areas of improvement. Our benchmarking framework serves as a valuable resource for researchers and practitioners, facilitating the development of more robust and reliable offline safe RL solutions in safety-critical applications. The benchmark website is available at \url{www.offline-saferl.org}.

연구 동기 및 목표

• 오프라인 안전 강화학습 알고리즘 평가를 위한 표준화된 벤치마크 부족 문제를 해결하기 위해.
• 데이터 분포, 노이즈, 보상-비용 상충 관계의 제어된 변형을 가진 고품질이고 다양한 데이터셋을 제공하기 위해.
• 현실적이고 도전적인 데이터 수집 조건 하에서 기존 오프라인 안전 강화학습 알고리즘 간의 체계적 비교를 가능하게 하기 위해.
• 확장 가능한 코드베이스와 표준화된 평가 프로토콜을 제공하여 안전 강화학습 분야의 연구를 가속화하기 위해.
• 대규모 실험적 평가를 통해 현재 오프라인 안전 강화학습 방법의 성능, 한계, 실패 유형에 대한 통찰을 제공하기 위해.

제안 방법

• 안전 제약 조건을 보장하는 전문 정책을 생성하기 위해 고급 안전 강화학습 알고리즘(예: CQL, SAC-A, BCQ)을 사용한 데이터 수집 파이프라인.
• 다양한 난이도 수준을 가진 세 가지 환경(SafetyGymnasium, BulletSafetyGym, MetaDrive)에서 38개의 고품질 데이터셋 생성.
• 데이터 다양성, 노이즈 수준, 보상-비용 분포를 수정하기 위해 결정론적 후처리 필터 적용으로 실제 데이터 수집의 변동성을 시뮬레이션.
• 기존 오프라인 강화학습 베이스라인 및 평가 도구와의 원활한 통합을 위한 D4RL 준수 API 설계.
• 통합적이고 확장 가능한 코드베이스에 15개 이상의 최신 오프라인 안전 강화학습 알고리즘(CQL, SAC-A, BCQ, IQL, SAC-BC 등)의 구현.
• 비용-보상 수익 플롯을 사용하여 데이터셋 다양성과 성능과 안전성 간의 상충 관계를 시각화하고 정량화.

실험 결과

연구 질문

• RQ1 다양한 데이터 품질과 분포 이탈을 가진 다양한 데이터셋에서 오프라인 안전 강화학습 알고리즘이 어떻게 성능을 내는가?
• RQ2 데이터 다양성, 노이즈, 보상-비용 상충 관계가 학습된 정책의 일반화성과 안전성에 어떤 영향을 미치는가?
• RQ3 기존 오프라인 안전 강화학습 방법은 안전성이 중요한 환경에서 분포 이탈과 외삽 오류를 어떻게 다루는가?
• RQ4 표준화된 벤치마크에서 평가했을 때 현재 오프라인 안전 강화학습 알고리즘의 주요 실패 유형과 한계는 무엇인가?
• RQ5 결정론적 환경과 확률적 환경은 오프라인 강화학습에서 안전 정책의 학습 가능성과 강건성에 어떤 영향을 미치는가?

주요 결과

• 비용-보상 수익 플롯은 높은 다양성을 가진 데이터셋이 보상과 비용 간의 풍부한 상충 관계를 나타내며, 이는 강건한 안전 정책 학습에 필수적임을 드러낸다.
• BulletSafetyGym과 Velocity와 같은 결정론적 환경에서는 비용에 대한 보상 증가 추세가 명확히 관찰되어 안전 기준을 완화하면 작업 성능이 향상됨을 시사한다.
• SafetyGymnasium의 Goal, Button, Push 작업과 같은 고도로 확률적인 환경에서는 '운 좋은' 초기화가 고보상, 저비용의 경로를 생성하여 정책 일반화에 도전하는 데이터 편향을 유도한다.
• 여러 에피소드에 걸쳐 평가된 전문 정책의 성능은 개별 경로 플롯이 노이즈가 많거나 뭉쳐 보일지라도 일관된 보상-비용 상충 관계를 보인다.
• 50,000+ CPU 시간 및 800 GPU 시간을 사용한 광범위한 실험 결과, 알고리즘 성능은 데이터셋 간에 상당한 차이를 보이며, 일부 방법은 분포 이탈이나 낮은 데이터 다양성 조건에서 실패함을 확인했다.
• 벤치마크는 현재 오프라인 안전 강화학습 알고리즘이 고위험 확률적 환경에서 일반화에 어려움을 겪고 있음을 드러내며, 더 나은 데이터 효율성과 분포 강건성 향상의 필요성을 강조한다.