[論文レビュー] Research on Autonomous Driving Decision-making Strategies based Deep Reinforcement Learning

Zixiang Wang, Hao Yan+3 more|arXiv (Cornell University)|Aug 6, 2024

Traffic Prediction and Management Techniques被引用数 4

ひとこと要約

本稿では、複雑な交通環境における適応的ドライブ戦略の学習を目的として、深層強化学習（DRL）に基づく自律走行の意思決定フレームワークを提案する。Deep Q-Network（DQN）とProximal Policy Optimization（PPO）を比較し、改善された報酬関数により耐障害性を向上させた。実験の結果、DRL手法は複数の走行タスクにおいてルールベース手法を上回ることを示した。

ABSTRACT

The behavior decision-making subsystem is a key component of the autonomous driving system, which reflects the decision-making ability of the vehicle and the driver, and is an important symbol of the high-level intelligence of the vehicle. However, the existing rule-based decision-making schemes are limited by the prior knowledge of designers, and it is difficult to cope with complex and changeable traffic scenarios. In this work, an advanced deep reinforcement learning model is adopted, which can autonomously learn and optimize driving strategies in a complex and changeable traffic environment by modeling the driving decision-making process as a reinforcement learning problem. Specifically, we used Deep Q-Network (DQN) and Proximal Policy Optimization (PPO) for comparative experiments. DQN guides the agent to choose the best action by approximating the state-action value function, while PPO improves the decision-making quality by optimizing the policy function. We also introduce improvements in the design of the reward function to promote the robustness and adaptability of the model in real-world driving situations. Experimental results show that the decision-making strategy based on deep reinforcement learning has better performance than the traditional rule-based method in a variety of driving tasks.

研究の動機と目的

• 複雑で動的な交通状況を扱う際のルールベース意思決定の限界を解消すること。
• 事前に定義されたルールに依存せずに、自律走行車両が適応的に走行戦略を学習できる学習ベースのアプローチを開発すること。
• 強化学習における報酬関数設計を通じて、意思決定の耐障害性と適応性を向上させること。
• DQNとPPOの性能および訓練安定性を、実世界の走行シミュレーション環境で比較すること。
• 多様な走行タスクにおいて、深層強化学習が従来のルールベースシステムを上回ることを検証すること。

提案手法

• 自律走行の意思決定プロセスを強化学習のためのマルコフ決定過程（MDP）として定式化する。
• 状態-行動価値関数を近似するためのDeep Q-Network（DQN）を用い、行動選択をガイドする。
• サンプル効率および訓練安定性を向上させるために、直接的にポリシーネットワークを最適化するProximal Policy Optimization（PPO）を適用する。
• 安全、効率、進行度の指標を統合したカスタム報酬関数を設計し、エージェントの学習を導く。
• 交差点、合流、歩行者との相互作用を含む多様な交通シナリオを有するシミュレーション環境でエージェントを訓練および評価する。
• カリキュラム学習および経験再生を用いて、訓練収束性および一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、複雑な交通環境において、耐障害性があり汎用的な走行意思決定戦略を効果的に学習できるか？
• RQ2 自律走行意思決定タスクにおいて、DQNとPPOの性能および訓練安定性はどのように比較できるか？
• RQ3 報酬関数設計は、学習された走行ポリシーの適応性および安全性にどの程度影響を与えるか？
• RQ4 DRLベースのアプローチは、多様な走行シナリオにおいて、従来のルールベースシステムを上回るか？
• RQ5 学習されたポリシーは、未観測の交通状況においてどの程度一般化できるか？

主な発見

• DRLベースの意思決定システムは、すべての評価走行タスクにおいて、ルールベースベースラインと比較して著しく高い成功確率を達成した。
• PPOは、複雑な交通状況においてDQNと比較して優れた訓練安定性と高速な収束を示した。
• 改善された報酬関数により、ポリシーの一般化性能が向上し、高密度交通環境での衝突率が40％低下した。
• 明示的なプログラミングなしで、急な車線変更や歩行者横断などの動的相互作用を正常に処理できた。
• DRLエージェントは、安全、効率、快適性のバランスを学習し、人間の走行意思決定に近い行動を実現した。
• アブレーションスタディの結果、報酬形状付けが安全で効率的な走行行動を促進するために不可欠であることが確認された。