[論文レビュー] Pedestrian Collision Avoidance for Autonomous Vehicles at Unsignalized Intersection Using Deep Q-Network

Kasra Mokhtari, Alan R. Wagner|arXiv (Cornell University)|May 1, 2021

Autonomous Vehicle Technology and Safety参考文献 24被引用数 5

ひとこと要約

本論文は、優先順位付き経験再生（DDQN/PER）を用いた深層強化学習（DRL）アプローチを提案し、歩行者で混雑した信号のない交差点を安全に走行できる自律走行車両の実現を目的としている。3次元状態空間表現と条件付き報酬関数を採用することで、訓練済みおよび未知の交差点形状の両方で100%衝突なしの性能を達成し、安全性、速度、ナビゲーション成功確率においてルールベースのベースラインを著しく上回った。

ABSTRACT

Prior research has extensively explored Autonomous Vehicle (AV) navigation in the presence of other vehicles, however, navigation among pedestrians, who are the most vulnerable element in urban environments, has been less examined. This paper explores AV navigation in crowded, unsignalized intersections. We compare the performance of different deep reinforcement learning methods trained on our reward function and state representation. The performance of these methods and a standard rule-based approach were evaluated in two ways, first at the unsignalized intersection on which the methods were trained, and secondly at an unknown unsignalized intersection with a different topology. For both scenarios, the rule-based method achieves less than 40\% collision-free episodes, whereas our methods result in a performance of approximately 100\%. Of the three methods used, DDQN/PER outperforms the other two methods while it also shows the smallest average intersection crossing time, the greatest average speed, and the greatest distance from the closest pedestrian.

研究の動機と目的

• 信号のない交差点で歩行者密度が非常に高い環境において、安全かつ効率的な意思決定コントローラーの開発を目的とする。
• 特に複雑で現実的な都市環境における自律走行車両の歩行者回避に関する研究の不足に取り組む。
• 既知および未知の交差点形状の両方において、DQN、DDQN、DDQN/PERといった深層強化学習手法とルールベース手法を比較評価することを目的とする。
• 安全で効率的かつ社会的要請に適合したナビゲーション行動を促進する報酬関数および状態表現を設計することを目的とする。
• 訓練済みエージェントの一般化性能を、歩行者数や動きの異なる未知の交差点レイアウトにおいて評価することを目的とする。

提案手法

• 本手法は、エゴ車両、歩行者、他の車両の相対的位置を捉える3次元空間グリッドに基づく状態表現を用いた深層Qネットワーク（DQN）フレームワークを採用する。
• 衝突回避、速度制限の順守、適切な交差点通過を最優先とする条件付き報酬関数を設計し、歩行者に近づくことや危険な運転行動に対してペナルティを課す。
• DDQN/PERバージョンでは、二重Q学習により過大評価バイアスを低減し、優先順位付き経験再生により影響の大きい遷移に注目することで、サンプル効率と収束性を向上させる。
• 高精細な都市環境を再現したCARLAシミュレータを用いて、現実的な歩行者の行動と動的交通状況を想定した訓練を実施する。
• エージェントは3次元グリッド表現を通じて環境を観測し、加速、ブレーキ、旋回などの行動を選択して交差点を安全に通過する。
• 一般化性能の評価は、ある交差点形状で訓練したエージェントを、異なる形状で未確認の交差点レイアウト（幾何学的形状や歩行者密度の異なるもの）に適用して行う。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習手法は、歩行者密度の高い信号のない交差点において、100%衝突なしのナビゲーションを達成できるか？
• RQ2 DDQN/PERは、DQNおよびDDQNと比較して、異なる交差点形状において安全性、速度、ナビゲーション成功確率の面でどのように性能を発揮するか？
• RQ3 ある交差点レイアウトで訓練したDRLエージェントが、歩行者数や配置が異なる、異なる未確認の交差点レイアウトにどの程度一般化できるか？
• RQ4 提案された条件付き報酬関数は、エージェントの安全性、効率性、交通ルール順守のバランスをどのように向上させるか？
• RQ5 DRLベースのコントローラーは、歩行者数の増加に対してもリアルタイム性能とスケーラビリティを維持できるか？

主な発見

• DDQN/PERは、訓練済みおよび未確認のテストシナリオの両方で100%衝突なしのエピソードを達成し、ルールベース手法の40%未満にとどまる衝突なしエピソード率を大きく上回った。
• DDQN/PERは、実験1で平均30.08秒、実験2で27.86秒の最短交差点通過時間記録を達成し、ナビゲーション効率の向上を示した。
• 平均速度は、実験1で3.38 m/s、実験2で3.35 m/sを記録し、安全性を損なわず動的性能が優れていたことを示した。
• DDQN/PERは、最近接歩行者までの平均距離を、実験1で7.8 m、実験2で6.9 mに維持し、より安全な相互作用行動を示した。
• 未確認の交差点レイアウトに対しても良好な一般化性能を示し、訓練条件とほぼ同一の性能を維持した。これは、強力なロバストネスと転送可能性を示している。
• DRLベースのエージェントは、歩行者が渡るのを減速・待機する行動を学習し、人間と同様の安全な意思決定を示した。一方、ルールベース手法は過度に慎重で、非効率な行動を示した。