[論文レビュー] Datasets and Benchmarks for Offline Safe Reinforcement Learning

Zuxin Liu, Zijian Guo+9 more|arXiv (Cornell University)|Jun 15, 2023

Autonomous Vehicle Technology and Safety被引用数 5

ひとこと要約

本論文は、オフライン安全強化学習のための包括的なベンチマークスイートを紹介する。このスイートには、キュレートされたデータセット、D4RL風のラッパー、最先端の安全強化学習アルゴリズムの実装が含まれる。SafetyGymnasium、BulletSafetyGym、MetaDriveの38のタスクにおいて、オフライン安全強化学習手法の体系的評価が可能となり、多数の実験的分析から、さまざまなデータ条件下でのアルゴリズムの強み、限界、トレードオフが明らかになった。

ABSTRACT

This paper presents a comprehensive benchmarking suite tailored to offline safe reinforcement learning (RL) challenges, aiming to foster progress in the development and evaluation of safe learning algorithms in both the training and deployment phases. Our benchmark suite contains three packages: 1) expertly crafted safe policies, 2) D4RL-styled datasets along with environment wrappers, and 3) high-quality offline safe RL baseline implementations. We feature a methodical data collection pipeline powered by advanced safe RL algorithms, which facilitates the generation of diverse datasets across 38 popular safe RL tasks, from robot control to autonomous driving. We further introduce an array of data post-processing filters, capable of modifying each dataset's diversity, thereby simulating various data collection conditions. Additionally, we provide elegant and extensible implementations of prevalent offline safe RL algorithms to accelerate research in this area. Through extensive experiments with over 50000 CPU and 800 GPU hours of computations, we evaluate and compare the performance of these baseline algorithms on the collected datasets, offering insights into their strengths, limitations, and potential areas of improvement. Our benchmarking framework serves as a valuable resource for researchers and practitioners, facilitating the development of more robust and reliable offline safe RL solutions in safety-critical applications. The benchmark website is available at \url{www.offline-saferl.org}.

研究の動機と目的

• オフライン安全強化学習アルゴリズムを評価するための標準化されたベンチマークの欠如に対処すること。
• データ分布、ノイズ、報酬-コストトレードオフの変動を制御した高品質で多様なデータセットを提供すること。
• 現実的で挑戦的なデータ収集条件下で、既存のオフライン安全強化学習アルゴリズムを体系的に比較可能にする。
• 拡張可能なコードベースと標準化された評価プロトコルを提供することで、安全強化学習分野の研究を加速すること。
• 大規模な実験的評価を通じて、現在のオフライン安全強化学習手法の性能、限界、失敗モードに関する知見を提供すること。

提案手法

• 安全制約を満たす専門家ポリシーを生成するために、高度な安全強化学習アルゴリズム（例：CQL、SAC-A、BCQ）を用いたデータ収集パイプラインの構築。
• SafetyGymnasium、BulletSafetyGym、MetaDriveの3つの環境にまたがる、難易度の異なる38の高品質データセットの生成。
• データの多様性、ノイズレベル、報酬-コスト分布を変更するための決定論的後処理フィルタの適用により、実世界のデータ収集のばらつきを模擬。
• 既存のオフライン強化学習ベースラインおよび評価ツールとのシームレスな統合を可能にする、D4RL準拠のAPIの設計。
• CQL、SAC-A、BCQ、IQL、SAC-BCなど15以上の最先端のオフライン安全強化学習アルゴリズムを統合的かつ拡張可能なコードベースに実装。
• 報酬-コストリターンプロットを用いて、データセットの多様性とパフォーマンスと安全性のトレードオフを可視化および定量化。

実験結果

リサーチクエスチョン

• RQ1 報酬-コストトレードオフ、データ品質、分布シフトの異なる多様なデータセットにおいて、さまざまなオフライン安全強化学習アルゴリズムの性能はどのように異なるか？
• RQ2 データの多様性、ノイズ、報酬-コストトレードオフが、学習済みポリシーの一般化性と安全性に与える影響は何か？
• RQ3 既存のオフライン安全強化学習手法は、安全が重要な環境における分布シフトや外挿誤差をどのように処理するか？
• RQ4 標準化されたベンチマーク上で評価された際の、現在のオフライン安全強化学習アルゴリズムの主な失敗モードと限界は何か？
• RQ5 決定論的環境と確率的環境は、オフライン強化学習における安全ポリシーの学習可能性とロバスト性にどのように影響を与えるか？

主な発見

• コスト-報酬リターンプロットの分析から、高多様性のデータセットでは、報酬とコストの間の広範なトレードオフが示され、頑健な安全ポリシーの学習に不可欠であることが明らかになった。
• BulletSafetyGym や Velocity といった決定論的環境では、コストに対して報酬が明確に増加する傾向が観察され、安全のしきい値を緩めることでタスクパフォーマンスが向上する可能性があることが示唆された。
• SafetyGymnasium の Goal、Button、Push タスクのような高確率的環境では、『運が良い』初期化が高報酬・低コストの軌道を生み出し、ポリシーの一般化を困難にするバイアスが生じる。
• 複数エピソードにわたる専門家ポリシーの評価において、個々の軌道プロットがノイズが多くてもクラスタリングされているように見えても、一貫した報酬-コストトレードオフが確認された。
• 50,000以上のCPU時間および800以上のGPU時間を用いた広範な実験から、アルゴリズムのパフォーマンスはデータセットによって顕著に異なることが判明。一部の手法は分布シフトや低データ多様性条件下で失敗した。
• ベンチマークの分析から、現在のオフライン安全強化学習アルゴリズムは、高リスクで確率的である環境での一般化に課題を抱えていることが明らかになった。これにより、データ効率性と分布的ロバスト性の向上が強く求められることが示された。