[論文レビュー] A Versatile and Efficient Reinforcement Learning Framework for Autonomous Driving

Guan Wang, Haoyi Niu+4 more|arXiv (Cornell University)|Oct 22, 2021

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、エンドツーエンドのポリシー学習から意味的表現学習を分離することで、自律走行のための包括的で効率的な強化学習フレームワークを提案する。軽量なシーン理解を用いて走行可能領域とレーン検出を実行した後、分散型オフポリシー強化学習のトレーニングを実施することで、優れたシミュレーションから現実への一般化性能を達成し、単一のGPUワークステーションで13時間未満のトレーニング時間に短縮され、夜間走行や複雑な障害物回避を含む多様なシナリオにおいても頑健な実世界性能を示している。

ABSTRACT

Heated debates continue over the best autonomous driving framework. The classic modular pipeline is widely adopted in the industry owing to its great interpretability and stability, whereas the fully end-to-end paradigm has demonstrated considerable simplicity and learnability along with the rise of deep learning. As a way of marrying the advantages of both approaches, learning a semantically meaningful representation and then use in the downstream driving policy learning tasks provides a viable and attractive solution. However, several key challenges remain to be addressed, including identifying the most effective representation, alleviating the sim-to-real generalization issue as well as balancing model training cost. In this study, we propose a versatile and efficient reinforcement learning framework and build a fully functional autonomous vehicle for real-world validation. Our framework shows great generalizability to various complicated real-world scenarios and superior training efficiency against the competing baselines.

研究の動機と目的

• 生のカメラ入力から低次元の意味的表現を学習することで、エンドツーエンドの自律走行におけるシミュレーションから現実への一般化ギャップを解消すること。
• モジュール式パイプライン（例：誤差の蓄積、ルール依存設計）とエンドツーエンドシステム（例：脆弱性、解釈性の低さ）の限界を補うハイブリッドアプローチにより、それらを克服すること。
• 分散型でイベント駆動のフレームワークを用いて、自律走行のための深層強化学習のトレーニング効率とスケーラビリティを向上させること。
• 物理的自律走行車両上で、多様で未知のシナリオにわたるフレームワークの実世界でのデプロイと検証を可能にすること。
• 意味的表現に基づく堅牢なポリシーを学習することで、夜間走行や動的障害物回避を含む複雑な環境において、高い自律性と安全性を達成すること。

提案手法

• 生のカメラ画像から走行可能領域とレーン境界を抽出する軽量なシーン理解モデルを用い、標準化された入力空間を生成する。
• 表現学習とポリシー学習を分離することで、下流の強化学習ポリシーがコンパクトで意味的に意味のある特徴量上で動作可能になるようにする。
• イベント駆動の並列化を備えた分散型オフポリシー強化学習フレームワークを実装し、単一のワークステーション上でトレーニングを高速化する。
• 環境数とエージェント数に応じて効率的にスケーリング可能な柔軟なスケジューリング方式を適用し、一貫したスループット向上を達成する。
• 低レベル制御実行のためのPIDコントローラーと学習済みRLポリシーを統合し、安定的かつ安全な車両動態を保証する。
• CycleGANより5倍速くトレーニングできるが、速度と正確性の両面でそれを上回る感知モデルを採用し、計算コストを低減する。

実験結果

リサーチクエスチョン

• RQ1 ポリシー学習の前に意味的表現を学習する分離型フレームワークが、自律走行におけるシミュレーションから現実への一般化を改善できるか？
• RQ2 単一のワークステーション上で、性能を損なわずトレーニング時間を短縮するために、分散型オフポリシー強化学習をどのように効率的にスケーリングできるか？
• RQ3 表現ベースのRLフレームワークは、複雑な道路トポロジーと悪条件の照明状況を含む、未知の実世界シナリオにどの程度一般化できるか？
• RQ4 提案フレームワークは、強力なILおよびRLベースラインと比較して、実世界の自律性と安全性指標でどの程度優れているか？
• RQ5 軽量で意味的認識に優れた感知モデルは、CycleGANのようなドメイン適応技術を上回る効率性と性能を達成できるか？

主な発見

• 本フレームワークは、2枚のRTX3090 GPUを搭載した単一のワークステーションで、合計12.6時間のトレーニング時間にまで短縮され、非分散ベースライン（87.2時間）と比較して85.6％の高速化を達成した。
• 障害物回避では98.3％の成功率、直線走行におけるレーンキープでは96.7％の成功率を達成し、両方の自律性と安全性においてILベースラインを顕著に上回った。
• 夜間走行条件下でも、RLベースのフレームワークは高い性能（障害物回避成功率92.5％）を維持したが、ILベースラインは昼間と比較して12.1％の性能低下を示した。
• RLバージョンはステアリング角の標準偏差が高いため、より攻撃的だが効果的な障害物回避が可能であった。一方、ILバージョンは頻繁に障害物やレーンマーキングに衝突した。
• 感知モデルは、トレーニング時間の1/5でCycleGANを上回る性能を達成し、優れた効率性と有効性を示した。
• 物理的車両上での実世界デプロイにより、フレームワークが高光量照射、歩道、密集した人垣、ガレージなど、未知のシナリオに対しても一貫したレーンフォローや動的障害物回避が可能であることが確認された。