[論文レビュー] SAINT-ACC: Safety-Aware Intelligent Adaptive Cruise Control for Autonomous Vehicles Using Deep Reinforcement Learning

Lokesh Chandra Das, Myounggyu Won|arXiv (Cornell University)|Mar 6, 2021

Traffic control and management参考文献 34被引用数 6

ひとこと要約

本稿では、リアルタイムのマクロおよびミクロ交通データに基づき、動的 inter-vehicle gap を最適化するための二重深層強化学習エージェントを用いた安全指向型の適応的クルーズコントロールシステム、SAINT-ACC を提案する。複雑な高速道路シナリオ（合流・発車交通を含む）において、ベースラインシステムに比べ、最大91.5%高いドライブの安全性と11.8%高い交通効率を達成する。

ABSTRACT

We present a novel adaptive cruise control (ACC) system namely SAINT-ACC: {S}afety-{A}ware {Int}elligent {ACC} system (SAINT-ACC) that is designed to achieve simultaneous optimization of traffic efficiency, driving safety, and driving comfort through dynamic adaptation of the inter-vehicle gap based on deep reinforcement learning (RL). A novel dual RL agent-based approach is developed to seek and adapt the optimal balance between traffic efficiency and driving safety/comfort by effectively controlling the driving safety model parameters and inter-vehicle gap based on macroscopic and microscopic traffic information collected from dynamically changing and complex traffic environments. Results obtained through over 12,000 simulation runs with varying traffic scenarios and penetration rates demonstrate that SAINT-ACC significantly enhances traffic flow, driving safety and comfort compared with a state-of-the-art approach.

研究の動機と目的

• 既存の適応的クルーズコントロールシステムが交通の流れを最優先とする一方で、ドライブの安全性や快適性を軽視するというギャップを埋める。
• 静的でない安全モデルが失敗する動的かつ複雑な交通環境における安全評価を改善する。
• 適応的 inter-vehicle gap 制御を通じて、交通効率、ドライブの安全性、ドライブの快適性を同時に最適化する。
• 強化学習を用いて、時間的衝突予測（TTC）しきい値を交通状況に応じてリアルタイムで動的に調整する動的安全モデルを開発する。
• 合流・発車車両や自動車の高浸透率を含む多様な交通状況において、システムの頑健性を検証する。

提案手法

• 二重強化学習アーキテクチャを採用：一方のエージェントが inter-vehicle gap を最適化し、もう一方が安全のためのTTCしきい値を動的に調整する。
• 両エージェントの状態入力として、交通密度・流量などのマクロ交通データと、相対速度・距離などのミクロ交通データを統合する。
• SUMO（交通シミュレータ）とVeins（車両通信ネットワークシミュレータ）を統合したシミュレーション環境で、リアルな高速道路シナリオを想定してRLエージェントを訓練する。
• 速度と流量による交通効率、近接衝突回数によるドライブの安全性、加速度の分散によるドライブの快適性をバランスさせる報酬関数を用いる。
• 変化する交通状況に応じてTTCしきい値を動的に更新することで、固定しきい値に比べて安全モデルの適応性を向上させる。
• 制御意思決定の更新間隔を1秒に設定し、リアルタイムの交通変化に迅速に対応可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習に基づくシステムは、複雑で変化し続ける交通環境において、TTCしきい値を動的に調整することで安全性を向上させることができるか？
• RQ2 適応的 inter-vehicle gap 制御は、静的またはルールベースのACCシステムに比べて、交通効率、安全性、ドライブの快適性をどの程度向上させるか？
• RQ3 合流・発車車両が存在する状況下で、SAINT-ACCの性能はどのように変化するか？
• RQ4 二重RLアーキテクチャの計算オーバーヘッドはどの程度で、自律走行車両におけるリアルタイム配備に実用的か？
• RQ5 inter-vehicle gap 制御の更新間隔がシステム性能にどの程度感度を示すか？

主な発見

• SAINT-ACC は、高密度の発車交通（2,000 辆/h/km）下で、ベースラインシステムに比べ最大91.5%高いドライブの安全性を実現した。
• 同じ高密度の発車交通条件下で、最先端手法（Zhu et al., 2020）に比べ24%高い安全性を達成した。
• 合流交通状況下で特に顕著に、ベースラインに比べ最大11.8%、Zhuの手法に比べ4.1%高い交通効率を実現した。
• 滑らかな加速度プロファイルのおかげで、ベースラインに比べ最大41.3%、Zhuの手法に比べ7.6%高いドライブの快適性を達成した。
• SAINT-ACC の平均計算遅延は26.9msであり、1秒の更新間隔というリアルタイム制御の許容範囲内に収まっている。
• 更新間隔が3秒を超えていても性能低下はわずかであり、1〜3秒の間隔が応答性の観点で最適であると示唆された。