[論文レビュー] CARLA Real Traffic Scenarios -- novel training ground and benchmark for autonomous driving

Błażej Osiński, Piotr Miłoś+7 more|arXiv (Cornell University)|Dec 16, 2020

Autonomous Vehicle Technology and Safety参考文献 48被引用数 12

ひとこと要約

本論文は、実世界の交通データを用いて高速道路の車線変更や円形交差点走行をシミュレートする大規模かつオープンソースのベンチマークであるCARLA Real Traffic Scenarios (CRTS) を紹介する。このベンチマークは強化学習を用いた自律走行エージェントの訓練と評価を可能にし、密度の高い報酬設計とベーシックビュー観測が、一般化性能と成功確率（openDDでは91.4％）を顕著に向上させることを示している。

ABSTRACT

This work introduces interactive traffic scenarios in the CARLA simulator, which are based on real-world traffic. We concentrate on tactical tasks lasting several seconds, which are especially challenging for current control methods. The CARLA Real Traffic Scenarios (CRTS) is intended to be a training and testing ground for autonomous driving systems. To this end, we open-source the code under a permissive license and present a set of baseline policies. CRTS combines the realism of traffic scenarios and the flexibility of simulation. We use it to train agents using a reinforcement learning algorithm. We show how to obtain competitive polices and evaluate experimentally how observation types and reward schemes affect the training process and the resulting agent's behavior.

研究の動機と目的

• 実世界の交通データに基づいてシナリオを構築することで、自律走行シミュレーションにおけるリアリズムギャップを低減すること。
• 強化学習を用いた自律走行ポリシーの訓練と評価に適したスケーラブルでオープンソースのベンチマークを提供すること。
• 観測モodal（観測モード）と報酬設計が、戦術的走行タスクにおけるポリシー性能と一般化に与える影響を調査すること。
• エンドツーエンド学習、ルールベースシステム、古典的計画法を含む多様なアプローチの評価を可能にすること。
• 実世界への導入の前段階として、アルゴリズムの妥当性を検証できる信頼性の高いテストベッドを提供すること。

提案手法

• CRTSは、openDDおよびNGSIMデータセットから60,000件以上の実世界交通シナリオを抽出し、実際の物理法則と交通ルールに従ってCARLAにマッピングする。
• シミュレータは、ベーシックビュー、カメラ、LiDARの複数の観測モードをサポートしており、マルチモーダルなポリシー訓練を可能にする。
• 密度の高い報酬関数を用い、進行度、安全性、ルール順守を統合する。スパarsな報酬や故障ペナルティなしのバージョンとのアブレーションスタディも実施。
• 経験再生とターゲットネットワークを用いたDQNベースのアルゴリズムを用いて強化学習を実行し、シナリオをトレイン／テストに分割して学習を実施。
• 独自のPythonパッケージにより、ベーシックビュー観測を生成し、関連のないプロジェクトへの移行を容易にする。
• 一般化性能は、未観測のテストシナリオでポリシーを評価し、異なる入力モダリティと報酬スキームにおける成功確率を測定することで評価。

実験結果

リサーチクエスチョン

• RQ1 ベーシックビュー、視覚的入力、LiDARといった観測モダリティの選択が、戦術的走行タスクにおけるポリシー性能と一般化に与える影響は何か？
• RQ2 密度の高い報酬、スパース報酬、故障ペナルティなしの報酬設計といった異なる報酬設計戦略が、学習の収束と最終的な成功確率に与える影響は何か？
• RQ3 CRTSで学習したポリシーは、未観測のシナリオにどの程度一般化できるか。その一般化に影響を与える要因は何か？
• RQ4 エンドツーエンドの強化学習エージェントは、実世界の走行パターンに類似した安全で効果的な走行行動を学習できるか？
• RQ5 CRTSのリアリズムは、他のシミュレータと比較して、実世界への導入前の信頼性のあるテストを可能にする点でどの程度優れているか？

主な発見

• 密度の高い報酬スキームがテストシナリオで最高の成功確率を達成し、openDDでは91.4％、NGSIMでは82.8％を記録。スパース報酬や故障ペナルティなしのバージョンを上回った。
• ベーシックビュー入力が視覚的入力よりも優れた性能を示した。特に、フレームスタックによる動き推定が高速道路の車線変更において速度推定を向上させた。
• フレームスタックはNGSIMでは性能向上に寄与したが、openDDでは性能を低下させた。これは、円形交差点シナリオでは動きの手がかりがやや重要性が低いことを示唆している。
• 密度の高い報酬で学習したポリシーはより優れた一般化性能を示し、一貫性のある行動を示した。一方、スパース報酬での学習は収束に時間がかかり、テスト性能も低かった。
• 定性的な分析から、学習済みエージェントはしばしば速く走行し、適切に減速しない傾向にあり、報酬関数に快適性やルール順守のインcentiveが欠けていることが判明した。
• 高い成功確率にもかかわらず、一部の回避可能な衝突が発生した。特に前方視界の実験では、後方の車両が見えないことが原因で、知覚と安全性の限界が顕在化した。