[論文レビュー] Partially Detected Intelligent Traffic Signal Control: Environmental Adaptation

Rusheng Zhang, Romain Leteurtre+4 more|arXiv (Cornell University)|Oct 23, 2019

Traffic control and management参考文献 21被引用数 6

ひとこと要約

本稿では、動的検出率および車両流入に対応できるように、部分的検出型インテリジェント信号制御（PD-ITSC）にポリシーに基づく強化学習（PPO、A2C、ACKTR）を提案する。価値ベースのQ学習とは異なり、ポリシーに基づく手法は変化する環境において優れた安定性と適応性を示し、疎な検出状況下でも平均待ち時間が低く抑えられるため、コスト効率の高いITSシステムにおける実用的導入にふさわしい。

ABSTRACT

Partially Detected Intelligent Traffic Signal Control (PD-ITSC) systems that can optimize traffic signals based on limited detected information could be a cost-efficient solution for mitigating traffic congestion in the future. In this paper, we focus on a particular problem in PD-ITSC - adaptation to changing environments. To this end, we investigate different reinforcement learning algorithms, including Q-learning, Proximal Policy Optimization (PPO), Advantage Actor-Critic (A2C), and Actor-Critic with Kronecker-Factored Trust Region (ACKTR). Our findings suggest that RL algorithms can find optimal strategies under partial vehicle detection; however, policy-based algorithms can adapt to changing environments more efficiently than value-based algorithms. We use these findings to draw conclusions about the value of different models for PD-ITSC systems.

研究の動機と目的

• 部分的検出環境における変化する検出レートに適応する交通信号制御の課題に対処する。
• 不完全な車両検出下での動的交通シナリオにおいて、複数の強化学習アルゴリズムのパフォーマンスを評価する。
• 環境の変化に伴う現実世界のPD-ITSC導入において、最も効果的で安定したRLアルゴリズムを特定する。
• 検出された車両のみを最適化することによって、特に高密度交通下で全車両に対して近似的に最適なパフォーマンスが得られるかどうかを調査する。
• 装備車両のサブセットのみを用いたコスト効率の高いITS導入の可能性を評価する。

提案手法

• シミュレーテッド都市交通環境において、Q-Learning（価値ベース）、PPO、A2C、ACKTR（ポリシーに基づく）の4つのRLアルゴリズムを実装し、比較する。
• LuST交通シミュレーション環境を用いて、変動する検出率と車両密度下での現実的な交通フローをモデル化する。
• 部分報酬設定を適用し、即時の報酬信号に寄与するのは検出された車両のみとする。
• 検出率が3年間にわたり線形的に0.1から1.0に増加する動的環境をシミュレートし、適応能力をテストする。
• エージェントを、平均車両待ち時間を最小化するように訓練し、検出済みおよび未検出車両の待ち時間を別々に追跡する。
• スパars（真夜中）、中程度（午後）、高密度（ラッシュアワー）の3つの交通状態の下でパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 強化学習アルゴリズムは、部分的車両検出下でも交通信号制御を効果的に最適化できるか？
• RQ2 価値ベース（Q-Learning）とポリシーに基づく（PPO、A2C、ACKTR）RLアルゴリズムは、変化する検出率にどのように適応するか？
• RQ3 検出された車両のみを最適化することによって、特に高密度交通下で全車両に対して近似的に最適なパフォーマンスが得られるか？
• RQ4 高ノイズおよび検出パターンの急激な変化を伴う環境において、異なるRLアルゴリズムの安定性はいかがなものか？
• RQ5 検出率の上昇が、全体のシステムパフォーマンスおよび検出済み・未検出車両間の公平性に与える影響は何か？

主な発見

• Q-Learningを含む全テストRLアルゴリズムが、部分的検出下でも近似的に最適な戦略を発見できるが、ポリシーに基づく手法の方が環境の変化にさらに効率的に適応する。
• Q-Learningは、初期導入段階で環境ノイズが高いため不安定となり、深刻な更新が発生し、待ち時間が増加する。
• ポリシーに基づくアルゴリズム（PPO、A2C、ACKTR）は、動的検出率の変化下でも著しく優れた安定性と低い分散を示す。
• 高密度交通状態では、検出済み車両と未検出車両の待ち時間の差が著しく縮まり、検出済み車両の最適化が全体最適化を近似的に再現していることを示している。
• 検出率が上昇するにつれ、全アルゴリズムにおいて全車両の平均待ち時間が減少し、PD-ITSCシステムのスケーラビリティと利点が確認された。
• PPOとA2Cは、動的環境シミュレーションにおいて性能の一貫性が高く、時間経過に伴うずれがACKTRより小さいため、わずかに優れている。