[論文レビュー] Partially Observable Reinforcement Learning for Intelligent Transportation Systems.

Rusheng Zhang, Akihiro Ishikawa+3 more|arXiv (Cornell University)|Jul 4, 2018

Traffic control and management被引用数 8

ひとこと要約

本論文は、V2I通信を用いて低車両検出率下でも動作する、部分的に観測可能な強化学習（POMDPベース）フレームワークを提唱する。DSRC対応車両からの部分的観測を処理するために強化学習を活用することで、交差点における平均車両待機時間を顕著に短縮する。20％の検出率でも効果を発揮し、多様な交通状況およびネットワーク環境においても高いロバスト性を示す。

ABSTRACT

Intelligent Transportation Systems (ITS) have attracted the attention of researchers and the general public alike as a means to alleviate traffic congestion. Recently, the maturity of wireless technology has enabled a cost-efficient way to achieve ITS by detecting vehicles using Vehicle to Infrastructure (V2I) communications. Traditional ITS algorithms, in most cases, assume that every vehicle is observed, such as by a camera or a loop detector, but a V2I implementation would detect only those vehicles with wireless communications capability. We examine a family of transportation systems, which we will refer to as `Partially Detected Intelligent Transportation Systems'. An algorithm that can act well under a small detection rate is highly desirable due to gradual penetration rates of the underlying wireless technologies such as Dedicated Short Range Communications (DSRC) technology. Artificial Intelligence (AI) techniques for Reinforcement Learning (RL) are suitable tools for finding such an algorithm due to utilizing varied inputs and not requiring explicit analytic understanding or modeling of the underlying system dynamics. In this paper, we report a RL algorithm for partially observable ITS based on DSRC. The performance of this system is studied under different car flows, detection rates, and topologies of the road network. Our system is able to efficiently reduce the average waiting time of vehicles at an intersection, even with a low detection rate.

研究の動機と目的

• 無線透過性が限られる（例：DSRC）状況において、車両の一部しか検出できないという課題に取り組むこと。
• 完全な車両検出に依存せずに、部分的観測下でも効果的に動作する知的制御システムを開発すること。
• 変動する検出率、交通フロー、道路網トポロジーに適応可能な強化学習アルゴリズムを設計すること。
• 交通状態の不完全なセンシングにもかかわらず、交差点における平均車両待機時間を最小限に抑えること。
• 現実のITSシナリオにおいて、実際の検出制約を考慮した状況下でRLの実現可能性とロバスト性を示すこと。

提案手法

• 不完全な車両状態情報に対処するため、交通制御問題を部分的観測マルコフ意思決定過程（POMDP）として定式化すること。
• DSRC対応車両の観測のみを対象とし、部分的観測から交通状態を推定するように学習する深層強化学習エージェントを採用すること。
• 長時間の待機を罰するように設計された報酬関数を導入し、交差点における効率的な信号タイミングを促進すること。
• 非定常な交通状態下での学習安定化のため、経験再生とターゲットネットワークを用いてエージェントを訓練すること。
• 動的車両フローと変動する検出率をモデル化したシミュレーション環境にポリシーを統合すること。
• 複数の道路網トポロジーおよび車両検出率（10％～80％）の範囲でシステムを評価すること。

実験結果

リサーチクエスチョン

• RQ1 V2I対応ITSにおいて、車両検出率が低下するに従って、強化学習ベースの交通制御システムの性能はどの程度低下するか？
• RQ2 一部の車両しか検出できない状況下でも、部分的観測RLフレームワークが最適な信号タイミング意思決定を効果的に学習できるか？
• RQ3 低検出率下で、異なる交通フロー強度および道路網構成において、システムの性能はどの程度維持されるか？
• RQ4 交通状態の不完全な観測にもかかわらず、RLエージェントが平均車両待機時間をどの程度短縮できるか？
• RQ5 RLベースのシステムが従来の固定周期信号制御を上回るための最小検出率はどの程度か？

主な発見

• 提案されたRLベースのシステムは、20％という低検出率下でも交差点における平均車両待機時間を短縮する。
• 多様な交通状況および道路網トポロジーにわたり、環境の変動に対して強いロバスト性を示す。
• RLエージェントは部分的観測から交通状態を推定し、完全な車両可視化がなくても効果的な信号タイミング意思決定を可能にする。
• 低～中程度の検出率範囲において一貫した性能向上を示し、初期段階のDSRC導入に対してもスケーラブルであることが示された。
• 特に低検出条件下では、ベースラインの固定周期信号制御戦略を上回る待機時間短縮効果を示した。
• 複数回のシミュレーション実行において、学習の安定性と収束性が確認され、動的環境下での信頼性が裏付けられた。