[論文レビュー] Model-free Deep Reinforcement Learning for Urban Autonomous Driving

Jianyu Chen, Bodi Yuan+1 more|arXiv (Cornell University)|Apr 20, 2019

Reinforcement Learning in Robotics参考文献 32被引用数 29

ひとこと要約

この論文は、鳥眼視点の入力表現と視覚符号化を用いた、サンプルの複雑さを低減するモデルフリーの深層強化学習フレームワークを提案している。高精細な円形交差点シミュレーションで、密度の高い交通状況下においてSAC、TD3、DDQNを用いてエージェントを成功裏に訓練し、SACではゴールポイント到達率が58%に達した。これはベースラインを著しく上回り、多エージェント間の相互作用学習の強靭性を示している。

ABSTRACT

Urban autonomous driving decision making is challenging due to complex road geometry and multi-agent interactions. Current decision making methods are mostly manually designing the driving policy, which might result in sub-optimal solutions and is expensive to develop, generalize and maintain at scale. On the other hand, with reinforcement learning (RL), a policy can be learned and improved automatically without any manual designs. However, current RL methods generally do not work well on complex urban scenarios. In this paper, we propose a framework to enable model-free deep reinforcement learning in challenging urban autonomous driving scenarios. We design a specific input representation and use visual encoding to capture the low-dimensional latent states. Several state-of-the-art model-free deep RL algorithms are implemented into our framework, with several tricks to improve their performance. We evaluate our method in a challenging roundabout task with dense surrounding vehicles in a high-definition driving simulator. The result shows that our method can solve the task well and is significantly better than the baseline.

研究の動機と目的

• 高次元の観測と複数エージェント間の相互作用を伴う複雑な都市環境において、手動で設計されたドライブポリシーの限界を克服すること。
• 構造的な入力表現を用いることで、エンドツーエンドの深層強化学習における高いサンプル複雑さと一般化性能の低さを克服すること。
• 専門家のデモンストレーションなしで、現実的な都市ドライブシナリオにおけるモデルフリーの深層強化学習アルゴリズムの有効な訓練を可能にすること。
• 特化したアーキテクチャ的・訓練上の修正を通じて、サンプル効率と学習安定性を向上させること。
• 密な相互作用を持つ交通状況下での学習済みポリシーの強靭性と一般化性能を評価すること。

提案手法

• 速度を暗黙的に符号化するため、色が薄れるようにした色分けされたバウンディングボックスを用いて、車両の位置、レーン、ゴールをエンコードする鳥眼視点の入力表現を設計する。
• 高次元の視覚的入力を低次元の潜在状態に圧縮するため、畳み込みニューラルネットワーク（CNN）を用いて観測空間の複雑さを低減する。
• DDQN、TD3、SACといった最先端のモデルフリーの深層強化学習アルゴリズムを採用し、探索戦略、フレームスキッピング、報酬形状の修正を加える。
• 安全な距離、適切な出口タイミング、ルート準拠を強調するフレームスキッピングと報酬形状を適用し、ポリシー学習を支援する。
• CARLAという高精細なドライブシミュレータを用いて、最大100台の周囲の車両を含む現実的な円形交差点環境でポリシーの訓練と評価を実施する。
• CNNベースのオートエンコーダを用いた視覚符号化を採用し、入力状態の再構成を可能にすることで、エージェントが関連する空間的・時間的ダイナミクスに集中できるようにする。

実験結果

リサーチクエスチョン

• RQ1 構造的な入力表現を用いたモデルフリーの深層強化学習フレームワークは、密度の高い交通状況下の複雑な都市シナリオで効果的なドライブポリシーを学習できるか？
• RQ2 入力表現の選択（鳥眼視点 vs. 前方視点画像）が、自動運転におけるサンプル効率とポリシー性能に与える影響は何か？
• RQ3 SAC、TD3、DDQNといった最先端の深層強化学習アルゴリズムは、専門家のデモンストレーションなしで、挑戦的な都市ドライブタスクにどの程度一般化できるか？
• RQ4 入力状態の視覚符号化が、学習安定性の向上とサンプル複雑さの低減に果たす役割は何か？
• RQ5 異なる探索戦略と訓練テクニックは、複数エージェントの都市環境におけるポリシー収束性と成功度にどのように影響を与えるか？

主な発見

• SACは140エポックの訓練後、密度の高い円形交差点シナリオでゴールポイント到達率が58%に達し、DDQN（0%）とTD3（0%）を著しく上回った。
• SACで訓練されたエゴ車両は、対向車両に譲りながら適切なレーン変更を実行し、円形交差点を安全に通過した。これは、多エージェント間の相互作用に対する強靭な学習を示している。
• DDQNとTD3は最初の出口以降、成功率が低下し、2番目の出口ではそれぞれ2%と0%にまで低下した。これは、探索能力の不足と複雑な相互作用の処理が困難であることを示している。
• ベースライン手法は完全に失敗し、局所最適解に閉じ込められ、繰り返し右折を繰り返していた。これは、基本的なDQNが複雑なシナリオでは限界に達することを示している。
• 失敗事例の主な原因は追突事故であった。これは、色の薄れを用いた速度情報の符号化でさえ、現在の入力表現では不十分である可能性を示唆している。
• 視覚符号化プロセスは入力次元を効果的に低減したが、再構成画像における速度の手がかりの可視性も低下させた。これは、より優れた状態表現の必要性を示している。