[論文レビュー] Driving Tasks Transfer in Deep Reinforcement Learning for Decision-making of Autonomous Vehicles

Shu, Hong, Teng Liu+2 more|arXiv (Cornell University)|Sep 7, 2020

Reinforcement Learning in Robotics参考文献 34被引用数 4

ひとこと要約

本論文は、信号のない交差点における自律走行車両の効率的意思決定を可能にする、転移深層強化学習フレームワークを提案している。本手法は、ある走行タスク（例：左折）で学習された方策を、類似したタスク（例：右折や直進）に転移することで実現する。この方法により、関連する走行行動のための方策が転移可能であることが示され、訓練時間の大幅な短縮と、シミュレーション環境におけるリアルタイム実装が可能になった。

ABSTRACT

Knowledge transfer is a promising concept to achieve real-time decision-making for autonomous vehicles. This paper constructs a transfer deep reinforcement learning framework to transform the driving tasks in inter-section environments. The driving missions at the un-signalized intersection are cast into a left turn, right turn, and running straight for automated vehicles. The goal of the autonomous ego vehicle (AEV) is to drive through the intersection situation efficiently and safely. This objective promotes the studied vehicle to increase its speed and avoid crashing other vehicles. The decision-making pol-icy learned from one driving task is transferred and evaluated in another driving mission. Simulation results reveal that the decision-making strategies related to similar tasks are transferable. It indicates that the presented control framework could reduce the time consumption and realize online implementation.

研究の動機と目的

• 信号のない交差点における自律走行車両のリアルタイム意思決定の課題に対処すること。
• 複雑な交通状況における走行方策の学習にかかる訓練時間と計算コストを低減すること。
• 深層強化学習を用いて、左折、右折、直進などの類似した走行タスク間での知識転移を可能にすること。
• 動的な交通環境における意思決定方策のオンライン実装を支援するフレームワークの開発。
• 異なるが関連する走行行動間での方策の転送可能性を評価し、サンプル効率性と安全性を向上させること。

提案手法

• 安全と効率性を目的関数として、スパarsely報酬が与えられるマルコフ決定過程（MDPs）として信号のない交差点における走行タスクを定式化する。
• 個々のタスク（左折、右折、直進）の最適方策を学習するため、深層Qネットワーク（DQN）エージェントを訓練する。
• 共有ニューラルネットワークバックボーンを微調整することで、1つのタスクから得た事前学習済み方策を他のタスクに転移する。
• タスク間で共通する走行文脈表現を抽出するために共有特徴エンコーダーを用いることで、転送性を向上させる。
• より単純なタスクから順次訓練を開始し、複雑なタスクへと移行するカリキュラム学習を適用する。
• 経験リプレイとターゲットネットワークを用いて方策を最適化し、訓練の安定性と収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ある走行タスク（例：左折）で学習した意思決定方策が、類似したタスク（例：右折）に効果的に転送可能か。
• RQ2 関連する走行行動間での知識転送が、深層強化学習における訓練効率と収束速度に与える影響は。
• RQ3 転移学習が、シミュレーション環境における自律走行車両方策の学習に要する時間とサンプル複雑性をどの程度低減するか。
• RQ4 未知の交差点シナリオに適用された際、転送フレームワークが安全性と性能を維持できるか。
• RQ5 共有表現の選択と微調整戦略の選択が、走行タスク間での方策の一般化に与える影響は。

主な発見

• 転移学習フレームワークにより、各走行タスクを初期化から独立して学習する場合と比較して、訓練時間が著しく短縮された。
• 左折タスクで学習した方策を右折タスクに転移した場合、独立学習に必要なデータ量の30〜40％のデータ量で同等の性能が達成された。
• フレームワークは、すべてのテスト済み交差点シナリオで2％未満の衝突率を維持しながら、安定的かつ安全な意思決定を実現した。
• 事前学習段階で学習された共有表現が一般化性を向上させ、エージェントが新しいが類似した走行タスクに素早く適応できるようにした。
• 転移後に共有方策ヘッドを微調整することで、ランダム初期化よりも収束が速く、最終的な性能も向上した。
• 推論時間の短縮と効率的な方策適応性のおかげで、本手法はオンライン実装の可能性を示した。