[論文レビュー] SafeLight: A Reinforcement Learning Method toward Collision-free Traffic Signal Control

Wenlu Du, Junyi Ye+4 more|arXiv (Cornell University)|Nov 20, 2022

Traffic control and management被引用数 8

ひとこと要約

SafeLightは、ドメイン固有の安全ルールを強化学習（RL）パイプラインに統合することで、ほぼゼロの衝突を達成する、安全強化型の強化学習フレームワークを提案する。残留学習を用いて、状態、行動、報酬、損失関数に安全モジュールを埋め込むことで、安全（0.0件の衝突）と移動性（平均遅延13.07秒）の両面でベースラインRL手法を上回り、環境や行動空間にわたる堅牢な一般化を示した。

ABSTRACT

Traffic signal control is safety-critical for our daily life. Roughly one-quarter of road accidents in the U.S. happen at intersections due to problematic signal timing, urging the development of safety-oriented intersection control. However, existing studies on adaptive traffic signal control using reinforcement learning technologies have focused mainly on minimizing traffic delay but neglecting the potential exposure to unsafe conditions. We, for the first time, incorporate road safety standards as enforcement to ensure the safety of existing reinforcement learning methods, aiming toward operating intersections with zero collisions. We have proposed a safety-enhanced residual reinforcement learning method (SafeLight) and employed multiple optimization techniques, such as multi-objective loss function and reward shaping for better knowledge integration. Extensive experiments are conducted using both synthetic and real-world benchmark datasets. Results show that our method can significantly reduce collisions while increasing traffic mobility.

研究の動機と目的

• 既存のRLベースの交通信号制御手法が移動性を重視しすぎて安全を犠牲にしているという、重要なギャップを解消すること。
• 赤信号違反、イエローフェーズ時間、左折衝突といった、ドメイン特有の交通安全ルールをRLフレームワークに統合し、衝突ゼロの運用を強制すること。
• 再トレーニングを必要とせず、既存のRLバックボーンに後付けで統合可能なモジュラーかつ一般化可能な安全強化手法を開発すること。
• 異なる行動空間とRLアーキテクチャを想定した、合成的および実世界のベンチマークで手法の性能を評価すること。
• 報酬設計の高度な調整を必要とせず、安全を信頼性高く強制できることを示すこと。

提案手法

• 赤信号違反、イエローフェーズ時間、左折衝突といった、確立された交通安全ルールに基づいて安全モデルを構築する。
• RLパイプラインの4つのコンponent（状態表現、行動空間、報酬形状、損失関数）に安全モジュールを統合する。
• 残留学習フレームワークを採用することで、安全の強制を主なRLポリシーから分離し、安定したトレーニングとモジュラーなデプロイメントを実現する。
• 移動性（遅延最小化）と安全（衝突回避）の両方をバランスさせる多目的損失関数を用い、行動干渉によって安全を強制する。
• SafeLight-Actは、安全モデルが行動を危険と判断した場合に干渉し、エージェントを安全な行動に再指向する。一方、SafeLight-Rは残留学習を用いてポリシーを精緻化する。
• 干渉後の連続する状態を安全モデルが評価し、特にイエローフェーズ中に不適切な構成が生じないかを確認する。

実験結果

リサーチクエスチョン

• RQ1 既存のRLベースの交通信号制御手法は、移動性を損なわず、安全にすることが可能か？
• RQ2 ドメイン特有の交通安全ルールを、RLトレーニングパイプラインに体系的に統合する方法は何か？
• RQ3 提案された安全モジュールは、異なるRLバックボーンや行動空間設計（周期的 vs. 非周期的）に一般化可能か？
• RQ4 近似的にゼロの衝突を達成しながら、交通の移動性を維持または向上させられるか？
• RQ5 安全ルールの統合は、トレーニングの収束性と安定性にどのように影響するか？

主な発見

• SafeLightはIPPOベンチマークで0.0件の衝突を達成し、次に優れた手法（Syn-R：0.8件）およびベースライン3DQN（24.5件）を大きく上回った。
• SafeLight-Actは平均遅延を16.57秒にまで低減し、バックボーンの3DQN（10.66秒）よりも安全を確保しながらも、優れた移動性を維持した。
• SafeLight-Lossは全手法中最も低い平均遅延（13.07秒）を達成し、衝突数も3.8件にとどまり、効果的な移動性・安全のトレードオフを示した。
• 異なる行動空間においても良好な一般化を示した：SafeLight-LossおよびSafeLight-Actは周期的および非周期的両設定で優れた性能を維持したが、Syn-Rは非周期的設定で失敗した。
• SafeLight-Actは収束が早く、安定した性能を示した。偶発的な安全干渉が学習を劣化させず、遅延報酬信号の遅れに対しても耐性があることが示された。
• 衝突可視化の結果、SafeLight-Actはタイミングのエッジケースに起因するイエローフェーズ衝突を完全に防げなかったが、残留精緻化によりSafeLight-Rはこうしたケースを効果的に回避できた。