[論文レビュー] Deep Reinforcement Learning for Intelligent Transportation Systems

Xiaoyang Liu, Zihan Ding+2 more|arXiv (Cornell University)|Dec 3, 2018

Traffic control and management参考文献 16被引用数 31

ひとこと要約

本稿では、インテリジェント交通システムにおけるスケーラブルなリアルタイム交通信号制御のためのディープQネットワーク（DQN）を提案する。DQNは単一交差点のシナリオでは最適ポリシーを学習し、構造的事前知識を明示的に与えずに、線形トポロジーの複数交差点構造においては「グリーンウェーブ」パターンが出現することを示しており、生の観測から複雑な交通調整行動を発見できる能力を裏付けている。

ABSTRACT

Intelligent Transportation Systems (ITSs) are envisioned to play a critical role in improving traffic flow and reducing congestion, which is a pervasive issue impacting urban areas around the globe. Rapidly advancing vehicular communication and edge cloud computation technologies provide key enablers for smart traffic management. However, operating viable real-time actuation mechanisms on a practically relevant scale involves formidable challenges, e.g., policy iteration and conventional Reinforcement Learning (RL) techniques suffer from poor scalability due to state space explosion. Motivated by these issues, we explore the potential for Deep Q-Networks (DQN) to optimize traffic light control policies. As an initial benchmark, we establish that the DQN algorithms yield the "thresholding" policy in a single-intersection. Next, we examine the scalability properties of DQN algorithms and their performance in a linear network topology with several intersections along a main artery. We demonstrate that DQN algorithms produce intelligent behavior, such as the emergence of "greenwave" patterns, reflecting their ability to learn favorable traffic light actuations.

研究の動機と目的

• 状態空間の爆発的増大により、従来の強化学習やポリシー反復法が大規模交通信号制御に適用できなくなるというスケーラビリティの制限を解消すること。
• ディープQネットワーク（DQN）が、複雑な都市交通シナリオにおいて効果的でリアルタイムな交通信号制御ポリシーを学習できるかどうかを評価すること。
• DQNが明示的な構造的制約なしに、「グリーンウェーブ」協調パターンのような知的な交通パターンを自律的に発見できるかどうかを調査すること。
• 単一交差点設定においてDQNの性能を最適ベンチマークと比較し、線形複数交差点トポロジーにおけるスケーラビリティを実証すること。

提案手法

• 離散時間ダイナミクスと2次コスト関数を用いたマーカフ決定過程（MDP）として交通信号制御を定式化する。
• 経験リプレイとターゲットネットワークを用いて学習の安定化とサンプル効率の向上を図るディープQネットワーク（DQN）を採用する。
• オンラインとターゲットのQネットワークを別々に保ち、二重DQNアプローチを採用し、二乗時系列差分誤差に基づくAdam最適化で更新する。
• 状態行動価値の近似に、ReLU活性化関数と全結合層（200, 100, 40, 2）を評価ネットワークおよびターゲットネットワークの両方に適用する。
• 割引率γ = 0.99を用い、ベルヌーイ分布を用いた車両到着（p = 1/4 および p = 1/8）を用いて確率的交通フローをモデル化する。
• シミュレーションを用いて単一交差点および線形複数交差点トポロジーの両方でDQNの性能を検証し、ポリシー構造と出現する行動を分析する。

実験結果

リサーチクエスチョン

• RQ1 DQNは単一交差点交通制御シナリオにおいて、ポリシー反復法と同等の性能を達成できるか？
• RQ2 従来の方法が状態空間の爆発的増大により失敗する線形複数交差点ネットワークトポロジーにおいて、DQNはスケーラブルであるか？
• RQ3 DQNは明示的な構造的制約なしに、「グリーンウェーブ」のような複雑な協調交通パターンを自律的に学習できるか？
• RQ4 どのような定性的指標がDQNポリシーにおける知的な交通協調の出現を裏付けているか？

主な発見

• 単一交差点シナリオにおいて、DQNポリシーはポリシー反復により得られた理論的に最適なポリシーと同一の閾値構造を示し、同等の性能を達成している。
• DQNアルゴリズムは、混雑コストの最小化という観点で最適な性能を達成しており、学習曲線が理論的最適値に収束している。
• 線形複数交差点トポロジーでは、DQNが交通信号を効果的に協調制御し、連続的な車両列の減少を伴う「グリーンウェーブ」パターンが出現している。
• 「グリーンウェーブ」パターンは、報酬関数や行動空間に明示的に組み込まれていないにもかかわらず、学習プロセスから自然に出現している。
• DQNアプローチは強力なスケーラビリティを示しており、ポリシー反復法が計算的に不可能となる大規模なシナリオにおいても効果的な制御が可能である。
• 結果から、DQNは観測データと報酬フィードバックからのみ、交通協調の好ましい構造的特性を学習できることを確認した。