[論文レビュー] Dynamic Graph Configuration with Reinforcement Learning for Connected Autonomous Vehicle Trajectories

Udesh Gunarathna, Hairuo Xie+3 more|arXiv (Cornell University)|Oct 14, 2019

Traffic control and management参考文献 29被引用数 4

ひとこと要約

本稿では、交通渋滞時にリアルタイムで交通レーンの方向を動的に再構成することで、連結自動走行車両（CAV）の交通フローを最適化する階層的マルチエージェント強化学習フレームワークであるCLLAを提案する。2段階のアーキテクチャを用いて局所的なレーン割り当て意思決定を調整することで、混雑したネットワークにおいて平均所要時間を最大14％短縮し、静的設定や従来の手法に比べてスケーラビリティと応答性に優れる。

ABSTRACT

Traditional traffic optimization solutions assume that the graph structure of road networks is static, missing opportunities for further traffic flow optimization. We are interested in optimizing traffic flows as a new type of graph-based problem, where the graph structure of a road network can adapt to traffic conditions in real time. In particular, we focus on the dynamic configuration of traffic-lane directions, which can help balance the usage of traffic lanes in opposite directions. The rise of connected autonomous vehicles offers an opportunity to apply this type of dynamic traffic optimization at a large scale. The existing techniques for optimizing lane-directions are however not suitable for dynamic traffic environments due to their high computational complexity and the static nature. In this paper, we propose an efficient traffic optimization solution, called Coordinated Learning-based Lane Allocation (CLLA), which is suitable for dynamic configuration of lane-directions. CLLA consists of a two-layer multi-agent architecture, where the bottom-layer agents use a machine learning technique to find a suitable configuration of lane-directions around individual road intersections. The lane-direction changes proposed by the learning agents are then coordinated at a higher level to reduce the negative impact of the changes on other parts of the road network. Our experimental results show that CLLA can reduce the average travel time significantly in congested road networks. We believe our method is general enough to be applied to other types of networks as well.

研究の動機と目的

• 従来の交通最適化における静的レーンネットワークグラフの制限を解決すること。これは、リアルタイムの交通変動に適応できないためである。
• 大規模かつリアルタイムの動的レーン方向再構成を可能にし、対向する方向の交通フローをバランスさせる。
• 連結自動走行車両（CAV）環境に適したスケーラブルで効率的なソリューションを開発すること。これにより、従来の最適化手法の高い計算コストを克服する。
• 交差点間で局所的なレーン割り当て意思決定を調整し、ネットワーク全体への悪影響を最小限に抑える。
• さまざまな交通状況下での動的レーン方向変更が所要時短縮にどの程度効果をもたらすかを評価すること。

提案手法

• CLLAは2段階のマルチエージェントアーキテクチャを採用する：下位レイヤーのエージェントが個々の交差点における最適な局所的レーン方向変更を強化学習で決定する。
• 上位レイヤーのコーディネータが、局所エージェントからの意思決定を集約し、ネットワーク全体で競合するか、非最適な変更を防ぐ。
• 各エージェントは、レーン方向変更が車両の経路と所要時間に与える影響をモデル化するための予測的依存グラフ（PDG）を構築する。
• 総所要時間を最小化するようにエージェントを訓練するために、優先順位付き経験再生を用いた深層Qネットワーク（DQN）が使用される。
• 主なパラメータには、変更コスト、攻撃性、PDG走査の深さ、経路影響推定の照会距離が含まれる。
• フレームワークは、動的車両生成を伴うシミュレーテッド都市環境で、実際のタクシー移動データを用いて評価されている。

実験結果

リサーチクエスチョン

• RQ1 動的レーン方向再構成は、混雑した都市部のレーンネットワークにおいて、平均所要時を顕著に短縮できるか？
• RQ2 局所的なレーン割り当て意思決定の調整は、全体のネットワーク性能と混雑緩和にどのように影響するか？
• RQ3 効果的で安定した性能を得るための最適なパラメータ設定（例：更新頻度、攻撃性、深さ）は何か？
• RQ4 スケーラビリティと効率性の観点から、CLLAの性能は静的レーン設定や既存の動的最適化手法と比べてどうか？
• RQ5 連結自動走行車両（CAV）システムと統合された場合、動的レーン変更が交通フローにどの程度改善をもたらすか？

主な発見

• 交通需要が増加する状況において、CLLAは静的レーン設定と比較して平均所要時を14％短縮し、顕著な効率向上を示した。
• CLLAの最適な更新周期は10分であり、応答性と計算コストのバランスを取ったもので、15分でも性能は安定している。
• 予測的依存グラフ（PDG）の深さが2のときが最良のパフォーマンスを示した。より深い走査は、距離に伴う影響の減少により、さらなる利益をもたらさない。
• 照会距離が2以上の場合、平均所要時が低くなるが、影響が距離とともに減少するため、この値を超えると利益は減少する。
• 攻撃性が高すぎたり、変更コストが高すぎると、頻繁な干渉や過剰な再構成のオーバーヘッドにより所要時が延長される。
• CLLAはさまざまな交通状況において安定したパフォーマンスを維持し、効率性と耐障害性の両面でベースラインの動的手法（DLA）を上回った。