[論文レビュー] ApolloRL: a Reinforcement Learning Platform for Autonomous Driving

Fei Gao, Peng Geng+8 more|arXiv (Cornell University)|Jan 29, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

ApolloRL は、自律走行のためのオープンでエンド・ツー・エンドの強化学習プラットフォームであり、スケーラブルで分散アーキテクチャを採用し、現実世界のドライブデータ、シミュレーション、トレーニング、評価を統合しています。研究者は、SOTA アルゴリズム（PPO や SAC など）を用いて、300 時間分の現実世界の走行シナリオで RL エージェントをトレーニングおよびベンチマーク可能で、複雑な交通環境において安定的かつ再現可能な性能向上を達成しています。

ABSTRACT

We introduce ApolloRL, an open platform for research in reinforcement learning for autonomous driving. The platform provides a complete closed-loop pipeline with training, simulation, and evaluation components. It comes with 300 hours of real-world data in driving scenarios and popular baselines such as Proximal Policy Optimization (PPO) and Soft Actor-Critic (SAC) agents. We elaborate in this paper on the architecture and the environment defined in the platform. In addition, we discuss the performance of the baseline agents in the ApolloRL environment.

研究の動機と目的

• 不完全な情報、複数の目的、複雑な行動空間、遅延報酬といった課題に起因する自律走行意思決定の課題を解決すること。
• 現実世界の自律走行シナリオにおける強化学習研究を統合的でスケーラブルかつ拡張可能にするプラットフォームを提供すること。
• 大規模かつ高精細な現実世界のドライブデータを活用することで、シミュレーションと現実世界のデプロイのギャップを埋めること。
• 統合されたトレーニング、シミュレーション、評価パイプラインを通じて、RL アルゴリズムの迅速な反復と評価を可能にすること。
• データ、ツール、コミュニティ連携のオープンアクセスを通じて、自律走行における深層強化学習分野の研究をインspireおよび加速すること。

提案手法

• プラットフォームは、認識、計画、制御、シミュレーションモジュールを統合したクローズドループパイプラインを採用し、エンド・ツー・エンドの RL トレーニングを可能にしています。
• 300 時間分の現実世界ドライブデータ（トレーニング用に 50k、テスト用に 10k）を活用して、シミュレーション内に現実的で多様な交通シナリオを生成しています。
• 観測、行動、報酬の形状をカスタマイズ可能であり、柔軟な RL アルゴリズム実装を可能にしています。
• 複数のエージェントやシナリオにわたるトレーニングと評価をスケーリングするために、分散型シミュレーションと分散型トレーニングコンponentsを採用しています。
• ベースラインエージェントは、エキスパートドライバーのログから教師あり学習で事前トレーニングされ、その後仮想環境で強化学習により最適化されています。
• プラットフォームは、プロキシマルポリシーオプティマイゼーション（PPO）やソフトアクタクリティカル（SAC）を含む、一般的な連続制御 RL アルゴリズムをサポートしています。

実験結果

リサーチクエスチョン

• RQ1 統合的でオープンなプラットフォームは、自律走行における深層強化学習研究を顕著に加速できるか？
• RQ2 シミュレーションで生成された現実世界由来のシナリオでトレーニングされた RL エージェントは、複雑で長時間にわたる走行タスクにどれほど一般化できるか？
• RQ3 PPO や SAC エージェントは、ベースライン手法と比較して、現実世界の走行シナリオでどれほど性能を向上させられるか？
• RQ4 プラットフォームは、多様で高精細な交通環境において、スケーラブルかつ再現可能な RL エージェントのトレーニングと評価をサポートできるか？
• RQ5 教師あり事前学習と強化学習によるファインチューニングを組み合わせることで、自律走行意思決定の潜在的効果は何か？

主な発見

• ApolloRL プラットフォームは、トレーニングステップに伴い安定的に向上する累積報酬曲線を通じて、RL エージェントの安定的かつ再現可能なトレーニングを実現していることが裏付けられています。
• PPO や SAC でトレーニングされたベースラインエージェントは、複雑な走行シナリオで測定可能な性能向上を達成しており、一部のエージェントは実走行自律走行システムのベースラインを上回っています。
• プラットフォームは、数十種類の多様な自律走行シナリオ（ADS）におけるエージェントトレーニングをサポートしており、シナリオ 1 つあたり 20～30 秒程度で訓練目標を達成する割合が大きく、高い効率性を示しています。
• 現実世界データをシミュレーションに統合することで、高精細なシナリオ生成が可能となり、現実的で信頼性の高いエージェントトレーニングと評価を可能にしています。
• プラットフォームの分散アーキテクチャにより、シミュレーションとトレーニングの効率的スケーリングが実現されており、将来的に数千のシナリオへの拡張も可能になっています。
• プラットフォームは拡張可能であり、ユーザー定義のアルゴリズム、ハイパーパramータ、モデル、探索戦略をサポートしており、幅広い研究応用が可能になっています。