[論文レビュー] Driver Dojo: A Benchmark for Generalizable Reinforcement Learning for Autonomous Driving

Sebastian Rietsch, Shih-Yuan Huang+3 more|arXiv (Cornell University)|Jul 23, 2022

Autonomous Vehicle Technology and Safety被引用数 5

ひとこと要約

Driver Dojo は、自律走行における一般化可能強化学習を評価するための、柔軟で設定可能なベンチマーク環境であり、SUMO を基盤に構築されている。ランダム化された道路レイアウト、多様な交通状況、複数の観測および行動空間、車両動力学モデルをサポートしており、完全な再現可能性とモジュラー設計を備えた、多様な走行条件下での強化学習方策の厳密なテストを可能にしている。

ABSTRACT

Reinforcement learning (RL) has shown to reach super human-level performance across a wide range of tasks. However, unlike supervised machine learning, learning strategies that generalize well to a wide range of situations remains one of the most challenging problems for real-world RL. Autonomous driving (AD) provides a multi-faceted experimental field, as it is necessary to learn the correct behavior over many variations of road layouts and large distributions of possible traffic situations, including individual driver personalities and hard-to-predict traffic events. In this paper we propose a challenging benchmark for generalizable RL for AD based on a configurable, flexible, and performant code base. Our benchmark uses a catalog of randomized scenario generators, including multiple mechanisms for road layout and traffic variations, different numerical and visual observation types, distinct action spaces, diverse vehicle models, and allows for use under static scenario definitions. In addition to purely algorithmic insights, our application-oriented benchmark also enables a better understanding of the impact of design decisions such as action and observation space on the generalizability of policies. Our benchmark aims to encourage researchers to propose solutions that are able to successfully generalize across scenarios, a task in which current RL methods fail. The code for the benchmark is available at https://github.com/seawee1/driver-dojo.

研究の動機と目的

• 自律走行における強化学習のための標準的で一般化可能なベンチマークの不足に取り組み、多様な交通状況および道路構成において、耐性と転送性を有する方策の評価を可能にする。
• 現実の交通行動やインfraのばらつきを再現する動的かつランダム化された走行シナリオにおいて、RLアルゴリズムの体系的評価を可能にする。
• 行動空間および観測空間、車両動力学、シナリオのランダム化といった設計選択が、自律走行における方策の一般化に与える影響を調査する。
• アルゴリズム研究およびADにおける一般化の応用指向分析を支援する、モジュラーで高性能で再現可能なコードベースを提供する。
• 現在の手法が現実世界への展開において大きな制限を示す、特定の訓練シナリオを超えた一般化を実現するRLエージェントの開発を促進する。

提案手法

• 現実的な交通および道路ネットワーク生成のため、シミュレーション・オブ・アーバン・モビリティ（SUMO）フレームワークをコアシミュレーションエンジンとして活用する。
• 交差点、円形交差点、高速道路タスクのためのランダム化されたシナリオジェネレータのカタログを採用し、道路レイアウト、交通密度、車両行動などの設定可能なパラメータを備える。
• 複数の観測モダリティ（例：数値的、視覚的）および行動空間（直接的および意味的）をサポートし、5つの異なる車両動力学モデルを提供する。
• 物理的および行動的属性（例：速度、攻撃的度）を個々の車両ごとにサンプリングすることで、異種交通行動のモデル化を実現する。
• 再現性のための決定論的シーディングを備えた静的シナリオデプロイと、一般化テストのための動的ランダム化を両立可能にする。
• Tianshou および Hydra を用いて構築されたモジュラーで高性能なコードベースにより、柔軟な環境構成と実験設定を支援する。

実験結果

リサーチクエスチョン

• RQ1 異なる観測および行動空間設計が、多様な自律走行シナリオにおけるRLエージェントの一般化性能にどのように影響するか？
• RQ2 標準的なRLアルゴリズム（例：DQN、PPO、FQF）は、自律走行においてランダム化された道路レイアウトおよび交通状況にどの程度一般化できるか？
• RQ3 異種車両行動および動的交通初期化の導入が、方策の耐性および一般化に与える影響はいかほどか？
• RQ4 設定可能なシナリオ生成を備えた統一されたベンチマーク環境は、自律走行におけるRL研究の再現可能性と比較可能性を向上させられるか？
• RQ5 現在のRL手法は、標準的な訓練分布を超えた未確認のランダム走行シナリオで、どのような失敗モードを示すか？

主な発見

• TPS行動空間で交差点シナリオを学習した方策は、FQF-100 において衝突率 16.25%、完了率 55.91% を示し、中程度の一般化性能を示した。
• 高速道路出口シナリオでは、FQF-100 エージェントが衝突率 10.49%、完了率 29.92% を記録し、複雑な高速道路走行行動における一般化の大きな課題を浮き彫りにした。
• 10,000 エピソードの学習により、完了率が著しく低下した（例：交差点でのDQNは 59.06% から 34.87% に低下）ことから、特定の訓練条件への過学習が生じたことが示された。
• 交差点シナリオにおけるPPOエージェントは、100エピソードで学習した結果、完了率 56.06%、衝突率 23.87% を達成し、同じ条件下でDQNよりも優れたサンプル効率を示した。
• ビジョンベースのモデルはより多くの計算リソースを要し、性能のばらつきも顕著で、GPUノード（4台のTesla V100、187GB RAM）を用いた学習が行われ、計算コストの高さが顕著に現れた。
• 決定論的シーディングとモジュラー設定により、ベンチマークは完全な再現性を実現し、すべての実験がGitHubリポジトリの README.md に文書化された。