[論文レビュー] Intelligent Traffic Light Control Using Distributed Multi-agent Q Learning

Ying Liu, Lei Liu+1 more|arXiv (Cornell University)|Nov 29, 2017

Traffic Prediction and Management Techniques被引用数 5

ひとこと要約

本論文は、IoTセンサーおよび隣接交差点からのリアルタイムデータを活用して、自動車および歩行者交通の流れを共同最適化する分散型マルチエージェントQラーニングフレームワークを提案する。この手法は、多様な歩行者交通シナリオにおいて、キュー長、待機時間、排出ガス、燃料消費量の低減において、既存の手法を上回る性能を発揮する。

ABSTRACT

The combination of Artificial Intelligence (AI) and Internet-of-Things (IoT), which is denoted as AI-powered Internet-of-Things (AIoT), is capable of processing huge amount of data generated from a large number of devices and handling complex problems in social infrastructures. As AI and IoT technologies are becoming mature, in this paper, we propose to apply AIoT technologies for traffic light control, which is an essential component for intelligent transportation system, to improve the efficiency of smart city's road system. Specifically, various sensors such as surveillance cameras provide real-time information for intelligent traffic light control system to observe the states of both motorized traffic and non-motorized traffic. In this paper, we propose an intelligent traffic light control solution by using distributed multi-agent Q learning, considering the traffic information at the neighboring intersections as well as local motorized and non-motorized traffic, to improve the overall performance of the entire control system. By using the proposed multi-agent Q learning algorithm, our solution is targeting to optimize both the motorized and non-motorized traffic. In addition, we considered many constraints/rules for traffic light control in the real world, and integrate these constraints in the learning algorithm, which can facilitate the proposed solution to be deployed in real operational scenarios. We conducted numerical simulations for a real-world map with real-world traffic data. The simulation results show that our proposed solution outperforms existing solutions in terms of vehicle and pedestrian queue lengths, waiting time at intersections, and many other key performance metrics.

研究の動機と目的

• 自動車のみを優先する伝統的な信号制御システムの非効率性を是正すること。
• 自転車や歩行者を含む非自動車交通を動的信号制御に統合し、都市の移動性を向上させること。
• 実際の交通制御制約を強化学習フレームワークに組み込むことで、スケーラブルで実世界への導入が可能なソリューションを開発すること。
• varying pedestrian volumes を想定した実世界の地図および交通データを用いて、提案システムの性能を評価すること。

提案手法

• 本システムは、交差点ごとに1つのQラーニングエージェントを有する分散型マルチエージェント強化学習アーキテクチャを採用する。
• 各エージェントは、車両および歩行者のキュー長を含む局所的な交通状況を観測し、ネットワークを通じて隣接交差点と状態情報を交換する。
• 安全で実行可能となる行動を保証するため、実世界の交通制御ルール（例：最小緑時間、フェーズ順序制約）をQラーニングアルゴリズムに拡張する。
• 行動空間には、車両と歩行者の進行をバランスさせる信号フェーズ遷移が含まれ、合計待機時間を最小化する。
• 完全な観測が不要な分散実行を可能にするために、集中学習・分散実行（CTDE）パラダイムを採用する。
• 性能評価には、OpenStreetMapから取得した実世界の地図とCaltransの実際の交通データを用い、多様な歩行者流入率をシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントQラーニングシステムは、自動車と非自動車交通の両方を考慮しながら、交差点間の信号を効果的に調整できるか？
• RQ2 歩行者交通の統合が、車両中心のアプローチと比較して、強化学習ベースの交通制御の性能にどのように影響を与えるか？
• RQ3 実世界の交通制御制約をQラーニングフレームワークに統合するにあたり、学習効率やソリューション品質に悪影響を及ぼさずに実現できる範囲はどの程度か？
• RQ4 本手法は、実世界の交通パターンにおける多様な歩行者流入率（高・中・低）において、どのように性能を発揮するか？
• RQ5 分散協調メカニズムは、独立型または固定周期制御システムと比較して、より優れたグローバル性能を達成できるか？

主な発見

• 提案手法は、高水準の歩行者流入下でMARLと比較して、自動車の待機時間を16.7%削減した。中・低水準では、それぞれ12.2%および7.0%の改善を達成した。
• 歩行者のキュー長は顕著に短縮され、自動車と歩行者の両方のサービスがバランスよく維持された。
• CO2およびCO排出量は、固定周期制御およびセンサー駆動制御手法と比較して最大30%低減した。特に中・高水準の歩行者流入下で顕著な改善が見られた。
• 燃料消費量および騒音汚染は、すべてのシナリオで一貫して低減され、固定周期システムと比較して最大40%の削減が達成された。
• 本システムは、全テストされた歩行者流入率において優れた性能を維持し、動的な都市交通パターンへのロバストさと適応性を示した。
• 実世界の交通ルールをQラーニングフレームワークに統合することで、運用環境における実行可能で安全な展開が可能になった。