[論文レビュー] SafeRL-Kit: Evaluating Efficient Reinforcement Learning Methods for Safe Autonomous Driving

Linrui Zhang, Qin Zhang+3 more|arXiv (Cornell University)|Jun 17, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

この論文では、SpeedLimit や MetaDrive などのベンチマーク環境で、安全な強化学習（RL）アルゴリズムを統合した、安全な自動走行を目的とした統合的でオフポリシーな強化学習ツールキットである SafeRL-Kit を紹介する。本研究では、新しい1次元最適化手法である正確ペナルティ最適化（EPO）を含む、最先端の安全RLアルゴリズムを特徴としており、EPOは安定した学習と優れたサンプル効率を実現し、制約違反がゼロの堅牢な性能を達成する。

ABSTRACT

Safe reinforcement learning (RL) has achieved significant success on risk-sensitive tasks and shown promise in autonomous driving (AD) as well. Considering the distinctiveness of this community, efficient and reproducible baselines are still lacking for safe AD. In this paper, we release SafeRL-Kit to benchmark safe RL methods for AD-oriented tasks. Concretely, SafeRL-Kit contains several latest algorithms specific to zero-constraint-violation tasks, including Safety Layer, Recovery RL, off-policy Lagrangian method, and Feasible Actor-Critic. In addition to existing approaches, we propose a novel first-order method named Exact Penalty Optimization (EPO) and sufficiently demonstrate its capability in safe AD. All algorithms in SafeRL-Kit are implemented (i) under the off-policy setting, which improves sample efficiency and can better leverage past logs; (ii) with a unified learning framework, providing off-the-shelf interfaces for researchers to incorporate their domain-specific knowledge into fundamental safe RL methods. Conclusively, we conduct a comparative evaluation of the above algorithms in SafeRL-Kit and shed light on their efficacy for safe autonomous driving. The source code is available at \href{ https://github.com/zlr20/saferl_kit}{this https URL}.

研究の動機と目的

• 安全で、効率的かつ最新の安全RLベースラインが、安全を最優先とする自動走行タスクに不足している問題に対処すること。
• 過去の経験データや人間のデモンストレーションからのサンプル効率の高い学習を可能にする、統合的でオフポリシーなフレームワークを提供すること。
• 最新の安全RLアルゴリズム（包括的に新しい手法を含む）を、現実的な自動走行環境でベンチマーク化し、優れた性能を示す手法を同定すること。
• 自動走行における安全RLのための新しい1次元最適化手法、正確ペナルティ最適化（EPO）を導入し、実証すること。
• 研究者がドメイン固有の知識をコアな安全RLアルゴリズムに統合できる、拡張可能でモジュラーなインターフェースを提供すること。

提案手法

• SafeRL-Kit は、サンプル効率の向上と過去の経験の再利用を可能にするオフポリシー設定下で、複数の最先端の安全RLアルゴリズムを実装している。
• 本ツールキットは、5つの既存の手法（Safety Layer、Recovery RL、Off-policy Lagrangian、Feasible Actor-Critic（FAC））に加え、新たに開発された手法である正確ペナルティ最適化（EPO）を統合している。
• EPO は、状態依存のラグランジュ乗数を避けるために、固定されたペナルティ係数とReLU演算子を用いて、制約付き最適化問題を等価な制約なし問題に再定式化している。
• すべてのアルゴリズムは、オフザシェルインターフェースを備えた統一された学習フレームワーク上に構築されており、ドメイン固有の知識のモジュラーな拡張と統合を可能にしている。
• フレームワークは、エゴステートやLiDARなどのベクトル観測入力をサポートしており、現代のディープラーニングライブラリとも互換性がある。
• ツールキットはコードとともに公開されており、ログされたトラジェクトリーや人間のデモンストレーションを含むオフラインデータとも互換性があり、自動走行におけるデータ効率を向上させている。

実験結果

リサーチクエスチョン

• RQ1 現代のオフポリシー安全RLアルゴリズムは、自動走行ベンチマークにおいて、安全性、サンプル効率、収束安定性の観点でどのように比較されるか？
• RQ2 EPO のような1次元ペナルティベース手法は、プライマルデュアルラグランジュ法と同等またはそれ以上の性能を達成できるか？また、ハイパーパrameterの感度を回避できるか？
• RQ3 学習率やペナルティ係数といったハイパーパrameterの選択が、安全RLアルゴリズムの学習安定性と性能に与える影響はどの程度か？
• RQ4 オフポリシー安全RL手法は、自動走行環境において、オフラインデータや人間のデモンストレーションをどの程度活用できるか？
• RQ5 SafeRL-Kit の統合フレームワークは、ドメイン固有の安全制約の統合と拡張性をどの程度サポートするか？

主な発見

• EPO は SpeedLimit 環境でほぼゼロのコストリターンを達成し、収束が速く、他の手法と比較して安全性と学習速度の両面で優れている。
• オフポリシー・ラグランジュ法と FCA は、Safety Layer や Recovery RL よりも顕著に低い累積コストを示しており、制約の遵守が優れていることを示している。
• ラグランジュ法ベースの手法は、ラグランジュ乗数の学習率に対して非常に感受性が高く、不適切にチューニングすると振動や性能低下を引き起こす。
• EPO はペナルティ係数の選択に対して頑健である：κ > 5 の場合、性能が安定的かつ一貫性を保つため、プライマルデュアル手法よりもチューニングが容易である。
• SafeRL-Kit は、オンポリシーのベースラインと比較して、サンプル複雑性を最大10倍まで低減しており、類似タスクの収束に1000万回の相互作用ではなく、50万～100万回の相互作用で十分である。
• 統合フレームワークにより、ドメイン固有の知識のシームレスな統合が可能であり、データ豊富な自動走行シナリオにおける本番環境へのデプロイが可能である。