[論文レビュー] A Hierarchical Architecture for Sequential Decision-Making in Autonomous Driving using Deep Reinforcement Learning

Majid Moghadam, Gabriel Hugh Elkaim|arXiv (Cornell University)|Jun 20, 2019

Autonomous Vehicle Technology and Safety参考文献 12被引用数 14

ひとこと要約

本論文は、自律走行の意思決定のための階層的深層強化学習（DRL）アーキテクチャを提案する。DRLエージェントは占有グリッド表現を用いて高レベルの車線変更命令を生成し、エンドツーエンド手法に比べて信頼性を向上させる。本手法は、さまざまな交通密度を有する確率的ハイウェイ環境において、未学習のシナリオにおいても衝突のない走行を100%の評価精度で達成し、高い耐障害性を示している。

ABSTRACT

Tactical decision making is a critical feature for advanced driving systems, that incorporates several challenges such as complexity of the uncertain environment and reliability of the autonomous system. In this work, we develop a multi-modal architecture that includes the environmental modeling of ego surrounding and train a deep reinforcement learning (DRL) agent that yields consistent performance in stochastic highway driving scenarios. To this end, we feed the occupancy grid of the ego surrounding into the DRL agent and obtain the high-level sequential commands (i.e. lane change) to send them to lower-level controllers. We will show that dividing the autonomous driving problem into a multi-layer control architecture enables us to leverage the AI power to solve each layer separately and achieve an admissible reliability score. Comparing with end-to-end approaches, this architecture enables us to end up with a more reliable system which can be implemented in actual self-driving cars.

研究の動機と目的

• 確率的交通状況下における自律走行の信頼性の高い高レベル意思決定の課題に対処すること。
• 階層的アーキテクチャを用いて高レベル意思決定と低レベル制御を分離することで、システムの信頼性を向上させること。
• エンドツーエンドDRL手法を置き換え、安全性と一般化性能を向上させるモジュラーで解釈可能なフレームワークを提供すること。
• 異なるDRLアルゴリズム（DQN、DDQN）およびニューラルネットワークアーキテクチャの性能を、シミュレーテッドハイウェイ環境で評価すること。

提案手法

• エージェントは、自車両側の車両の位置を相対的に表現する2次元の占有グリッドを状態表現として使用する。
• 状態空間に自車の車線IDをバイナリベクトルとして追加して、一貫した状態表現を維持する。
• 学習の安定化のため、経験リプレイとターゲットネットワークを用いてDQNおよびDouble DQN（DDQN）を訓練する。
• 最適なモデル複雑度を同定するために、浅い、中程度、深いの3種類のニューラルネットワークアーキテクチャを評価する。
• 衝突を罰する一方で安全な車線変更を促進する報酬関数を用い、100エピソードにわたる平均蓄積報酬を指標として性能を追跡する。
• 最良の性能を示したエージェント（1層あたり16ニューロンのDDQN）を100,000ステップにわたり評価し、一般化性能と衝突のない走行を評価する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド手法と比較して、階層的DRLアーキテクチャは自律走行意思決定における信頼性を向上させることができるか？
• RQ2 ニューラルネットワークの深さの選択が、高レベルの車線変更意思決定におけるDRL性能に与える影響は何か？
• RQ3 占有グリッド状態表現を用いることで、確率的ハイウェイ環境における一般化性能と安全性が向上するか？
• RQ4 DQNとDDQNの間で、トレーニング速度と最終的精度のトレードオフはどのように変化するか？
• RQ5 エージェントは未学習のシナリオにおいて100%の評価精度を達成できるか？これは強力な一般化性能と信頼性を示唆する。

主な発見

• 浅い16×16ネットワークアーキテクチャを有するDDQNエージェントが、DQNおよびより深いネットワークを上回る最良の性能-速度トレードオフを達成した。
• すべての訓練済みエージェントが100,000ステップにわたり100%の評価精度を達成し、未学習のシナリオにおいて完全な一般化と衝突のない走行を示した。
• 浅いネットワーク（32ニューロン）は、中程度および深いアーキテクチャよりもトレーニング中に優れた性能を示し、この状態表現には単純なモデルで十分である可能性を示唆した。
• DDQNはDQNよりも速く収束し、より高いピーク報酬に到達した。これは、二重Q学習が過大評価バイアスを低減する利点を有することを確認した。
• 占有グリッドを入力として使用することで、一貫した状態表現が実現され、解釈性が向上し、複雑な交通状況下での信頼性の高い意思決定を支援した。
• 階層的アーキテクチャは、高レベル意思決定と低レベル制御を効果的に分離し、モジュラーで信頼性が高く安全な自律走行行動を実現した。