[論文レビュー] HARL: A Novel Hierachical Adversary Reinforcement Learning for Automoumous Intersection Management

Guanzhou Li, Jian Wu+1 more|arXiv (Cornell University)|May 5, 2022

Autonomous Vehicle Technology and Safety被引用数 5

ひとこと要約

本稿では、衝突回避を高レベルの軌道計画と低レベルの速度調整に分離する、自律的交差点管理（AIM）のための新しい階層的対抗的強化学習フレームワークHARLを提案する。2段階のエージェントを用い、観測範囲、行動周波数、報酬フィードバック期間を別々に設定することで、低〜中程度の交通量において衝突をゼロに低減し、LQFと比較して通過効率を33.38–55.04%向上させ、単一エージェントRLを上回る安全性とスループットを実現した。

ABSTRACT

As an emerging technology, Connected Autonomous Vehicles (CAVs) are believed to have the ability to move through intersections in a faster and safer manner, through effective Vehicle-to-Everything (V2X) communication and global observation. Autonomous intersection management is a key path to efficient crossing at intersections, which reduces unnecessary slowdowns and stops through adaptive decision process of each CAV, enabling fuller utilization of the intersection space. Distributed reinforcement learning (DRL) offers a flexible, end-to-end model for AIM, adapting for many intersection scenarios. While DRL is prone to collisions as the actions of multiple sides in the complicated interactions are sampled from a generic policy, restricting the application of DRL in realistic scenario. To address this, we propose a hierarchical RL framework where models at different levels vary in receptive scope, action step length, and feedback period of reward. The upper layer model accelerate CAVs to prevent them from being clashed, while the lower layer model adjust the trends from upper layer model to avoid the change of mobile state causing new conflicts. And the real action of CAV at each step is co-determined by the trends from both levels, forming a real-time balance in the adversarial process. The proposed model is proven effective in the experiment undertaken in a complicated intersection with 4 branches and 4 lanes each branch, and show better performance compared with baselines.

研究の動機と目的

• 分散強化学習を用いた自律的交差点管理（AIM）における衝突リスクの課題に対処すること。一般的な方策では、車両同士の安全でない相互作用が生じる。
• 複雑な車両相互作用下でも、リアルタイムかつ適応的な意思決定を可能にすることで、無信号交差点におけるCAVの協調における安全性と効率を向上させること。
• 高レベルの戦略的計画と低レベルの戦術的制御を区別する階層的構造を設計し、衝突回避と通過効率のバランスを取ること。
• 中央集権的AIM（例：スケーラビリティ、時 clocks 同期の問題）および分散型RL（例：局所最適解、衝突リスク）の制限を克服する、堅牢でスケーラブルかつ安全なフレームワークを提供すること。

提案手法

• フレームワークは二段階の階層的構造を採用する。上位エージェントは長期的な軌道計画に注力し、衝突を回避する。下位エージェントは滑らかな速度調整を実行し、新たな衝突を防ぐ。
• 上位エージェントは、広い受容 field と長い行動ステップ長を持つSoft Actor-Critic（SAC）モデルを用い、CAVが交差点への最適な進入時刻に到達するよう誘導する。
• 下位エージェントは、短い時間スケールと細かいフィードバックを持つSACを用い、車両速度を動的に調整し、急激な変化が新たな衝突を引き起こすのを防ぐ。
• 二つのエージェントは、対抗的協調によってリアルタイムの行動を共に決定する。上位エージェントは安全性を最優先とし、下位エージェントは安定性と滑らかな遷移を確保する。
• 報酬関数は異なるフィードバック期間を持つ。上位エージェントの報酬は長期的な安全性と通過順序を重視するが、下位エージェントの報酬は即時の衝突回避と速度の滑らかさに焦点を当てる。
• フレームワークは、低・中・高流量のさまざまな交通状況下で、シミュレーテッド4本線・4車線交差点環境でエンドツーエンドに訓練され、性能が検証された。

実験結果

リサーチクエスチョン

• RQ1 階層的強化学習は、中央集権的協調に依存せずに、分散型自律的交差点管理における安全性をどのように向上させ得るか？
• RQ2 複数車両の交差点状況において、高レベルの軌道計画と低レベルの速度制御の最適な分担は何か？
• RQ3 二段階エージェント間の対抗的協調は、ベースラインRLおよびルールベース手法と比較して、衝突率を低減させつつ通過効率を維持または向上させ得るか？
• RQ4 異なる観測範囲、行動周波数、報酬フィードバック期間は、複雑な交差点環境における学習プロセスの安定性とパフォーマンスにどのように影響するか？
• RQ5 多様な交通状況下で、提案されたHARLフレームワークは単一エージェントRLおよび従来のスケジューリング方針（例：LQF、FCFS）をどの程度上回るか、安全性と効率の観点から評価できるか？

主な発見

• HARLフレームワークは、すべての交通状況（低・中・高）で衝突回数をゼロに低減した。一方、単一エージェントRLではそれぞれ185、688、996件の衝突が発生した。
• 低交通量条件下では、HARLは1台あたり6.57秒の通過時間を達成し、LQF（13.80秒）と比較して55.04%の改善、固定時制御信号と比較して86.2%の改善を達成した。
• 高交通量条件下でも、HARLはゼロの衝突を維持し、8.69秒の通過時間を達成した。LQF（19.33秒）と単一エージェントRL（8.01秒）に比べ、安全性に優れたが、効率は類似していた。
• 10,000イテレーションにわたる平均報酬曲線は、一貫した改善を示し、エージェント間で強い正の相関がある安定的かつ効果的な学習が実現したことを示した。
• モデルは、ギャップ埋めのウェービング行動において優れた性能を示し、FCFSや固定時制御手法と比較して、利用可能な時間的・空間的ギャップを効果的に活用して交差をより効率的に実現した。
• アブレーションスタディにより、HARLフレームワークが、対抗的協調による前進と譲歩行動のバランスによって、特に高交通量状況下で安全性を顕著に向上させることを確認した。