[論文レビュー] Affordance-based Reinforcement Learning for Urban Driving

Tanmay Agarwal, Hitesh Arora+1 more|arXiv (Cornell University)|Jan 15, 2021

Autonomous Vehicle Technology and Safety参考文献 71被引用数 9

ひとこと要約

本論文は、ウェイポイントと低次元の視覚的アフォーダンスを用いて、都市環境におけるエンドツーエンドのドライブポリシーを学習する、アフォーダンスに基づく深層強化学習フレームワークを提案する。プロキシマルポリシーオプティマイゼーション（PPO）を用いてスクラッチから訓練されたエージェントは、レーンキープ、交差点走破、信号機での停止といった、堅牢で汎用性の高い行動を学習し、CARLAのNoCrashベンチマークで最先端の性能を達成した。密度の高い交通状況下でも最大100%の成功率とほぼゼロの違反を達成した。

ABSTRACT

Traditional autonomous vehicle pipelines that follow a modular approach have been very successful in the past both in academia and industry, which has led to autonomy deployed on road. Though this approach provides ease of interpretation, its generalizability to unseen environments is limited and hand-engineering of numerous parameters is required, especially in the prediction and planning systems. Recently, deep reinforcement learning has been shown to learn complex strategic games and perform challenging robotic tasks, which provides an appealing framework for learning to drive. In this work, we propose a deep reinforcement learning framework to learn optimal control policy using waypoints and low-dimensional visual representations, also known as affordances. We demonstrate that our agents when trained from scratch learn the tasks of lane-following, driving around inter-sections as well as stopping in front of other actors or traffic lights even in the dense traffic setting. We note that our method achieves comparable or better performance than the baseline methods on the original and NoCrash benchmarks on the CARLA simulator.

研究の動機と目的

• 自律走行におけるモジュラー手法やアノテーション学習の限界を解決すること、特に未確認の環境への一般化能力の低さと専門家のデモンストレーションに依存する点。
• 複雑な都市走行シナリオにおける高次元状態空間強化学習のサンプル非効率性と不安定性を克服すること。
• 手動で設計されたコンponentsを必要とせず、新しいシーンやレアイベントに一般化可能なスケーラブルなエンドツーエンド学習フレームワークを開発すること。
• 低次元の視覚的アフォーダンスとウェイポイントが、複雑な都市走行タスクを効果的に表現可能であり、安定したポリシー学習を可能にすることを示すこと。
• 専門家のデモンストレーションを一切必要とせず、環境からの密度の高いリワード形状のみを用いて、専門家監視ベースラインと同等またはそれを上回る性能を達成すること。

提案手法

• 状態表現としてウェイポイントと低次元の視覚的アフォーダンス（例：レーン中央からの距離、信号機の有無）を用いて、ドライブタスクをマークフ・意思決定プロセスとして定式化する。
• モデルフリーのオンポリシー強化学習アルゴリズムであるプロキシマルポリシーオプティマイゼーション（PPO）を用い、生の観測からエンドツーエンドで制御ポリシーを訓練する。
• 安全で効率的かつ法令遵守の走行行動を促進する密度の高い報酬関数を設計し、ナビゲーションの成功、衝突回避、適切な停止を含む。
• 専門家のデモンストレーションや教師あり事前学習を一切使用せず、試行錯誤による学習からエージェントをスクラッチで訓練する。
• 状態表現の3つのバリエーションを検証する：(A) 手作業で設計されたアフォーダンスとウェイポイント、(B) コンボリューショナルエンコーダーを用いた学習済みアフォーダンス、(C) 検証のための生のRGB画像。
• カリキュラム学習とドメインランダマイゼーションを用いて、町（Town 01 および Town 02）をまたいで一般化性と頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 低次元のアフォーダンスとウェイポイントのみを用いて、深層強化学習エージェントは、レーンキープ、交差点走破、信号機準拠といった複雑な都市走行行動を学習できるか？
• RQ2 スクラッチから訓練された強化学習エージェントの性能は、専門家監視ベースラインやアノテーション学習ベースラインと比較して、成功確率と安全性の観点でどの程度優れているか？
• RQ3 手作業で設計されたアフォーダンスを用いることで、生の画像からエンドツーエンドで表現を学習する場合と比較して、サンプル効率性とポリシーの頑健性が向上するか？
• RQ4 微調整なしで、未確認の環境（例：Town 02）や珍しい交通シナリオ（例：密度の高い都市交通）にどの程度一般化できるか？
• RQ5 状態表現設計（手作業で設計されたアフォーダンス vs. 学習済みアフォーダンス）がポリシー性能と訓練安定性に与える影響はどの程度か？

主な発見

• 提案手法は、Town 01 および Town 02 の両方で、空の交通状況下のNoCrashベンチマークで100%の成功率を達成し、衝突やタイムアウトはゼロであった。
• 通常の交通状況下では、Town 02 で98.16%の成功率を達成し、CIL（22.00%）、CAL（27.67%）、CILRS（49.00%）といったベースラインを著しく上回った。
• 密度の高い交通状況下では、Town 01 で95.38%、Town 02 で91.20%の成功率を達成し、ベースラインと比較して衝突率が少なくとも1桁以上低下した。
• 空の状況下で、他の車両との衝突率は0.00%、歩行者との衝突率も0.00%を記録し、高い安全性と信頼性を示した。
• 手作業で設計されたアフォーダンスを用いたバージョン（A）は、エンドツーエンドでアフォーダンスを学習するバージョン（B）と比較して、優れた性能と頑健性を示した。後者はより多くのサンプルを必要とし、安定性も低かった。
• すべての交通状況および町の条件において、過去のアノテーション学習およびモジュラーベースラインと比較して、タイムアウトおよび衝突違反を少なくとも1桁以上削減した。