[论文解读] Datasets and Benchmarks for Offline Safe Reinforcement Learning

Zuxin Liu, Zijian Guo+9 more|arXiv (Cornell University)|Jun 15, 2023

Autonomous Vehicle Technology and Safety被引用 5

一句话总结

本文提出了一套全面的离线安全强化学习基准测试套件，包含精心筛选的数据集、D4RL风格的封装接口，以及最先进安全RL算法的实现。该套件支持在SafetyGymnasium、BulletSafetyGym和MetaDrive中的38项任务上系统性地评估离线安全RL方法，并通过广泛的实证分析揭示了不同算法在多种数据条件下的优势、局限性及权衡关系。

ABSTRACT

This paper presents a comprehensive benchmarking suite tailored to offline safe reinforcement learning (RL) challenges, aiming to foster progress in the development and evaluation of safe learning algorithms in both the training and deployment phases. Our benchmark suite contains three packages: 1) expertly crafted safe policies, 2) D4RL-styled datasets along with environment wrappers, and 3) high-quality offline safe RL baseline implementations. We feature a methodical data collection pipeline powered by advanced safe RL algorithms, which facilitates the generation of diverse datasets across 38 popular safe RL tasks, from robot control to autonomous driving. We further introduce an array of data post-processing filters, capable of modifying each dataset's diversity, thereby simulating various data collection conditions. Additionally, we provide elegant and extensible implementations of prevalent offline safe RL algorithms to accelerate research in this area. Through extensive experiments with over 50000 CPU and 800 GPU hours of computations, we evaluate and compare the performance of these baseline algorithms on the collected datasets, offering insights into their strengths, limitations, and potential areas of improvement. Our benchmarking framework serves as a valuable resource for researchers and practitioners, facilitating the development of more robust and reliable offline safe RL solutions in safety-critical applications. The benchmark website is available at \url{www.offline-saferl.org}.

研究动机与目标

• 为解决缺乏标准化基准来评估离线安全强化学习算法的问题。
• 提供高质量、多样化的数据集，其数据分布、噪声水平和奖励-成本权衡关系具有可控的差异。
• 在真实且具有挑战性的数据采集条件下，实现对现有离线安全RL算法的系统性比较。
• 通过提供可扩展的代码库和标准化的评估协议，加速安全强化学习的研究进展。
• 通过大规模实证评估，揭示当前离线安全RL方法在性能、局限性和失败模式方面的洞察。

提出的方法

• 使用先进的安全RL算法（如CQL、SAC-A、BCQ）构建数据采集流水线，生成满足安全约束的专家策略。
• 在三个环境（SafetyGymnasium、BulletSafetyGym、MetaDrive）中生成38个高质量数据集，涵盖不同难度等级。
• 应用确定性的后处理过滤器，调整数据多样性、噪声水平和奖励-成本分布，以模拟现实世界中数据采集的差异。
• 设计符合D4RL规范的API，实现与现有离线RL基线模型和评估工具的无缝集成。
• 在一个统一且可扩展的代码库中实现15种以上最先进的离线安全RL算法（如CQL、SAC-A、BCQ、IQL、SAC-BC）。
• 使用成本-奖励回报图可视化并量化数据集的多样性以及性能与安全性之间的权衡。

实验结果

研究问题

• RQ1 在不同数据质量与分布偏移的数据集中，各类离线安全RL算法的表现如何？
• RQ2 数据多样性、噪声水平以及奖励-成本权衡关系对学习策略的泛化能力和安全性有何影响？
• RQ3 现有离线安全RL方法在安全关键环境中如何应对分布偏移和外推误差？
• RQ4 在标准化基准上评估时，当前离线安全RL算法的关键失败模式和局限性是什么？
• RQ5 确定性环境与随机环境如何影响离线RL中安全策略的学习能力与鲁棒性？

主要发现

• 成本-奖励回报图显示，高多样性数据集表现出轨迹的广泛分布，表明奖励与成本之间存在丰富的权衡关系，这对训练鲁棒的安全策略至关重要。
• 在如BulletSafetyGym和Velocity等确定性环境中，观察到奖励随成本增加而呈现清晰的上升趋势，表明放宽安全阈值可提升任务性能。
• 在SafetyGymnasium的Goal、Button和Push任务等高度随机的环境中，‘幸运’的初始化会导致高奖励、低成本的轨迹，造成数据偏差，从而对策略泛化构成挑战。
• 对专家策略进行多轮评估显示，即使单条轨迹图呈现噪声或聚集现象，其奖励-成本权衡关系仍保持一致。
• 通过超过50,000 CPU小时和800 GPU小时的广泛实验发现，不同算法在各数据集上的表现差异显著，部分方法在分布偏移或低数据多样性条件下表现失败。
• 该基准揭示，当前离线安全RL算法在高风险、高随机性的环境中仍面临泛化困难，凸显了提升数据效率和分布鲁棒性的迫切需求。