[論文レビュー] Exploring applications of deep reinforcement learning for real-world autonomous driving systems

Victor Talpaert, Ibrahim Sobh+5 more|arXiv (Cornell University)|Jan 6, 2019

Autonomous Vehicle Technology and Safety被引用数 6

ひとこと要約

本論文は、深層強化学習（DRL）を現実世界の自動運転システムに応用する方法を検討し、DRLと安全メカニズム、マルチセンサーフュージョンを統合するフレームワークを提案する。DRLと基づく制御およびメタラーニングを組み合わせることで、複雑な走行環境において効率的で、強固で、安全な方策学習が可能であることを示している。

ABSTRACT

Deep Reinforcement Learning (DRL) has become increasingly powerful in recent years, with notable achievements such as Deepmind's AlphaGo. It has been successfully deployed in commercial vehicles like Mobileye's path planning system. However, a vast majority of work on DRL is focused on toy examples in controlled synthetic car simulator environments such as TORCS and CARLA. In general, DRL is still at its infancy in terms of usability in real-world applications. Our goal in this paper is to encourage real-world deployment of DRL in various autonomous driving (AD) applications. We first provide an overview of the tasks in autonomous driving systems, reinforcement learning algorithms and applications of DRL to AD systems. We then discuss the challenges which must be addressed to enable further progress towards real-world deployment.

研究の動機と目的

• シミュレーションにおけるDRL研究と現実世界の自動運転システムへの展開の間のギャップを埋めること。
• 安全、データ効率、再現可能性といった、自動車用DRLにおける主要な課題を特定し、それらに対処すること。
• 実用的なアルゴリズム的およびアーキテクチャ的洞察を通じて、エンドツーエンドおよびモジュラーな走行システムにおけるDRLの使用を促進すること。
• メタラーニングおよびトランスファーラーニングを活用して、標準化されたベンチマークの導入と一般化の向上を提唱すること。
• DRLを用いて、動的で現実の交通状況において安全で、適応的で、効率的な意思決定を可能にすること。

提案手法

• 安全メカニズム（例：SafeDAgger）をDRLと統合し、専門家のクエリなしに方策の逸脱を予測する。
• DDPGに人工ポテンシャル場を組み合わせ、連続的制御タスクにおける衝突回避を強制する。
• 制約付きMDPにおけるネガティブ・アvoidランス関数を適用し、訓練中に生存を優先し、危険な状態を避ける。
• Reptile や MAML といったメタラーニング手法を活用し、少数の例でのみ新しい走行シナリオに素早く適応できるようにする。
• センサーディロップとマルチモーダルフュージョン（カメラ、LiDAR、レーダー）を用いて、部分的センサ障害下での耐性を高める。
• 認識、計画、制御を分離したモジュラーなアーキテクチャを提案し、DRLによるタスク固有の方策学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 DRLは、シミュレーションを越えて現実世界の自動運転システムにどのように効果的に応用できるか？
• RQ2 DRLに統合可能な、衝突を防ぎ、信頼性のある行動を保証する安全メカニズムは何か？
• RQ3 DRL方策は、センサ障害やノイズの多い環境に対してもどのようにして強靭性を確保できるか？
• RQ4 メタラーニングは、データ効率を向上させ、新しい走行シナリオへの素早い適応を可能にするか？
• RQ5 DRLの再現性と一般化を阻害する主な課題は何か？

主な発見

• DDPGに人工ポテンシャル場を組み合わせた安全に基づく制御とDRLを統合することで、動的環境下での衝突回避性能が著しく向上する。
• ネガティブ・アvoidランス関数により、DRLエージェントは危険な状態を回避し、局所最適解からの脱出が可能となり、報酬設計への感受性が低下する。
• SafeDAggerにより、継続的な専門家のクエリを必要とせず、専門家行動からの逸脱を予測することで、安全な方策の展開が可能になる。
• Reptile などのメタラーニングアプローチにより、最小限のデータでDRLエージェントが新しい走行タスクに素早く適応でき、一般化性能が向上する。
• センサーディロップとマルチモーダルフュージョンにより、部分的センサ障害下での性能低下が軽減され、現実の状況下での耐性が向上する。
• 進展は見られるものの、環境およびアルゴリズムの非決定性のため再現性は依然として大きな問題であり、標準化されたベンチマークの必要性が浮き彫りになる。