[論文レビュー] Self-Awareness Safety of Deep Reinforcement Learning in Road Traffic Junction Driving

Zehong Cao, Jie Yun|arXiv (Cornell University)|Jan 20, 2022

Autonomous Vehicle Technology and Safety被引用数 5

ひとこと要約

本稿では、複雑な道路交差点における自律走行の安全性を向上させるために、深層強化学習（DRL）エージェント向けに注目メカニズムを統合した自己認識モジュールを提案する。DQNに自己注意機構を組み込むことで、状況認識能力が向上し、円形交差点シナリオにおける衝突率と凍結率が顕著に低下した—凍結率は50%から3.28%へ96.7%の削減を達成—、同時に高い成功率と報酬性能を維持した。

ABSTRACT

Autonomous driving has been at the forefront of public interest, and a pivotal debate to widespread concerns is safety in the transportation system. Deep reinforcement learning (DRL) has been applied to autonomous driving to provide solutions for obstacle avoidance. However, in a road traffic junction scenario, the vehicle typically receives partial observations from the transportation environment, while DRL needs to rely on long-term rewards to train a reliable model by maximising the cumulative rewards, which may take the risk when exploring new actions and returning either a positive reward or a penalty in the case of collisions. Although safety concerns are usually considered in the design of a reward function, they are not fully considered as the critical metric to directly evaluate the effectiveness of DRL algorithms in autonomous driving. In this study, we evaluated the safety performance of three baseline DRL models (DQN, A2C, and PPO) and proposed a self-awareness module from an attention mechanism for DRL to improve the safety evaluation for an anomalous vehicle in a complex road traffic junction environment, such as intersection and roundabout scenarios, based on four metrics: collision rate, success rate, freezing rate, and total reward. Our two experimental results in the training and testing phases revealed the baseline DRL with poor safety performance, while our proposed self-awareness attention-DQN can significantly improve the safety performance in intersection and roundabout scenarios.

研究の動機と目的

• 交差点や円形交差点を含む複雑な道路交差点における、ベースラインDRLモデル（DQN、A2C、PPO）の安全性を評価すること。
• 特に探索段階での高い凍結率と衝突リスクを含む、既存のDRLモデルにおける深刻な安全性の欠陥を同定すること。
• 注目メカニズムを用いた自己認識モジュールを設計・実装し、リアルタイムの状況認識能力と安全性評価を向上させること。
• 交差する交差点と円形交差点の両環境において、学習段階とテスト段階で提案された注目-DQNモデルの有効性を検証すること。

提案手法

• エージェントが注目重みに基づいて関連のある交通参加者に動的に注目できるように、DQNアーキテクチャに自己注意機構を統合した。
• ベースラインDRLモデルと同一の環境と報酬関数を用いて注目-DQNモデルを学習させ、安全性指標を評価基準とした。
• 衝突率、成功率、凍結率、累積報酬合計という4つの評価指標を用いて安全性とパフォーマンスを評価した。
• 推論段階での注目マップを可視化し、エージェントがリアルタイムで周囲の車両や環境状態をどのように優先順位付けしているかを分析した。
• 動的で曖昧な交通状況の認識を向上させることで、長期的意思決定を強化する目的で注目メカニズムを応用した。
• 交差する交差点と円形交差点という2つの複雑な交差点シナリオにおいて、ベースラインDRLモデルと提案された注目-DQNの間で比較実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 ベースラインDRLモデル（DQN、A2C、PPO）は、交差点や円形交差点という複雑な道路交差点において、衝突率、凍結率、成功率、累積報酬という安全性指標でどのように性能を示すか？
• RQ2 注目ベースの自己認識モジュールは、交差する交差点と円形交差点の走行シナリオにおいて、衝突率と凍結率をどの程度低減できるか？
• RQ3 円形交差点シナリオでは安全性パフォーマンスが向上する一方で、交差する交差点シナリオでは向上しないのはなぜか？（衝突は減少しているが。）
• RQ4 注目メカニズムは、動的で不確実な交通状況下でのエージェントの意思決定の自信と経路計画にどのように影響を与えるか？

主な発見

• ベースラインDRLモデル（DQN、A2C、PPO）は、学習段階とテスト段階の両方で円形交差点シナリオにおいて50%を超える凍結率を示し、安全性パフォーマンスが著しく劣っていた。
• 提案された注目-DQNモデルは、円形交差点シナリオにおいてテスト段階で凍結率を3.28%まで低下させ、学習段階でも15%まで低下させ、ベースライン比で96.7%の改善を達成した。
• 交差する交差点シナリオでは、注目-DQNが衝突率を低減したが、凍結率が上昇したため、衝突回避と経路の継続性の間でトレードオフが生じていることが示された。
• 注目メカニズムにより、エゴ車両が周囲の車両の行動をよりよく追跡・予測できるようになった。特に、円形交差点の入り口のような高不確実性ゾーンで顕著に効果を発揮した。
• 注目マップの分析から、エージェントは意図が曖昧な左・右からの車両を優先的に注目しており、距離や軌道に応じて注目を動的にシフトしていることがわかった。
• エージェントは環境が安全と判断された場合にのみエゴ車両に再び注目することで、状況認識能力を向上させ、意思決定の自信を高めた。