[論文レビュー] Deep Deterministic Policy Gradient for Urban Traffic Light Control

Noé Casas|arXiv (Cornell University)|Mar 27, 2017

Traffic control and management参考文献 31被引用数 142

ひとこと要約

この論文は Deep Deterministic Policy Gradient (DDPG) を用いて都市規模の交通信号時間を最適化する。大規模な状態-行動空間に対処するため深層学習を活用。実験は単一の交差点から大規模な市区のセクションまで行う。

ABSTRACT

Traffic light timing optimization is still an active line of research despite the wealth of scientific literature on the topic, and the problem remains unsolved for any non-toy scenario. One of the key issues with traffic light optimization is the large scale of the input information that is available for the controlling agent, namely all the traffic data that is continually sampled by the traffic detectors that cover the urban network. This issue has in the past forced researchers to focus on agents that work on localized parts of the traffic network, typically on individual intersections, and to coordinate every individual agent in a multi-agent setup. In order to overcome the large scale of the available state information, we propose to rely on the ability of deep Learning approaches to handle large input spaces, in the form of Deep Deterministic Policy Gradient (DDPG) algorithm. We performed several experiments with a range of models, from the very simple one (one intersection) to the more complex one (a big city section).

研究の動機と目的

• 大規模な都市ネットワークにおける交通信号時間の最適化の動機づけと課題に取り組む。
• 高次元の状態空間と行動空間を扱うために深層強化学習の活用を探る。
• 検知データを活用して交通信号を全体的に制御するスケーラブルな枠組みを開発する。
• 単純なものから大規模なシミュレーションまで、より複雑なネットワーク構成での性能を評価する。

提案手法

• 交通信号制御における連続的な状態空間と行動空間を扱うためにDDPGを採用する。
• 検知データ（車両数、速度、占有率）を用いて豊かな状態表現を形成する。
• 個別の信号色を調整するのではなく位相持続時間を調整して交差点の同期を保つような制御可能な行動空間を定義する。
• シミュレーションベースのテストベッド（Aimsun）を用いてネットワーク規模にわたる性能を評価する。
• 大規模な入力空間を管理し全体的な制御を可能にするために深層学習技術を組み込む。

実験結果

リサーチクエスチョン

• RQ1 DDPGを用いた深層強化学習は全ネットワーク検知データを用いて都市部の交通信号タイミングを効果的に最適化できるか？
• RQ2 単一の交差点からより大きな市のセクションへとこのアプローチが制御性能と安定性の点でどのようにスケールするか？
• RQ3 大規模な交通ネットワークで実現可能で安定した学習を可能にする表現と行動の定義は何か？
• RQ4 実世界に近い設定でこの手法を展開する際の実用的な考慮事項（データ、集約、状態、報酬）は何か？

主な発見

• 異なるネットワークスケールに跨る全体的な都市交通信号制御に対する深層強化学習の適用性を示す。
• 検知データからの大規模な状態表現がDDPGフレームワーク内で利用可能であることを示す。
• 不安定またはカオスなタイミングを避けるために位相同期を維持する実用的な行動空間を提案する。
• 実世界の検知データと適合するデータ集約、状態構築、報酬設計の体系的な方法論を提供する。
• 深層RLを用いた大規模な交通信号制御の評価における微視的シミュレータ（Aimsun）の実用性を強調する。