[論文レビュー] Transfer Learning versus Multi-agent Learning regarding Distributed Decision-Making in Highway Traffic

Mark Schutera, Niklas Goby+2 more|arXiv (Cornell University)|Oct 19, 2018

Reinforcement Learning in Robotics参考文献 7被引用数 5

ひとこと要約

本稿は、MIT DeepTrafficシミュレーションを用いた高速道路交通における分散意思決定の分野で、転移学習とマルチエージェント強化学習を比較している。エヴォリューション型ハイパーパramータサーチを用いて、深層Qネットワーク（DQN）を用いてエージェントを訓練し、単一エージェントの転移学習と共同でのマルチエージェント学習を評価した。主な発見は、特にエージェント密度が高い状況下で、マルチエージェント学習が転移学習を上回ることであり、これは複数エージェント間の相互作用への適応性が高く、深刻な混雑事象が減少するためである。

ABSTRACT

Transportation and traffic are currently undergoing a rapid increase in terms of both scale and complexity. At the same time, an increasing share of traffic participants are being transformed into agents driven or supported by artificial intelligence resulting in mixed-intelligence traffic. This work explores the implications of distributed decision-making in mixed-intelligence traffic. The investigations are carried out on the basis of an online-simulated highway scenario, namely the MIT \emph{DeepTraffic} simulation. In the first step traffic agents are trained by means of a deep reinforcement learning approach, being deployed inside an elitist evolutionary algorithm for hyperparameter search. The resulting architectures and training parameters are then utilized in order to either train a single autonomous traffic agent and transfer the learned weights onto a multi-agent scenario or else to conduct multi-agent learning directly. Both learning strategies are evaluated on different ratios of mixed-intelligence traffic. The strategies are assessed according to the average speed of all agents driven by artificial intelligence. Traffic patterns that provoke a reduction in traffic flow are analyzed with respect to the different strategies.

研究の動機と目的

• 混合知能高速道路交通における分散意思決定の分野で、転移学習とマルチエージェント強化学習のパフォーマンスを評価すること。
• 異なる学習戦略が、シミュレートされた高速道路環境における平均速度と交通フローのパターンに与える影響を調査すること。
• 知能エージェントの数の増加が、混雑とフロー効率に与える影響を評価すること。
• 単一エージェントの学習から得た知識が、交通制御のマルチエージェント状況に効果的に一般化できるかどうかを特定すること。

提案手法

• MIT DeepTrafficシミュレーション内で、深層強化学習フレームワークに従い、深層Qネットワーク（DQN）を用いて交通エージェントを訓練した。
• エリート主義の遺伝的アルゴリズムを用いて、ハイパーパramータ（例：学習率、ネットワークの深さ、経験リプレイサイズ）を最適化した。
• 単一エージェントモデルからの事前学習済み重みを用いて、複数エージェントを初期化することで、転移学習を適用した。
• 同じ環境で複数エージェントを同時に学習させ、共有の学習目的を有する共同マルチエージェント学習を実施した。
• 知的運転手と人間ドライバーの比率を変化させた状況で、両戦略を評価し、平均速度と混雑パターンを測定した。
• 複数回のシミュレーション実行において、訓練・検証・評価を自動化するため、PythonベースのSeleniumロボットを用いた。

実験結果

リサーチクエスチョン

• RQ1 混合知能高速道路交通において、平均速度と交通フローの観点から、転移学習とマルチエージェント学習はどのように比較されるか？
• RQ2 単一エージェントで学習したモデルからの転移学習は、マルチエージェント状況に効果的に一般化できるか、それとも最適でない相互作用ダイナミクスを引き起こすか？
• RQ3 混雑パターン（特に深刻な閉塞と低速減速）は、転移学習とマルチエージェント学習戦略でどのように異なるか？
• RQ4 各学習戦略下で、訓練済みエージェントの数と混雑事象の頻度の関係は何か？
• RQ5 エージェント密度が上昇するに従い、マルチエージェント学習は転移学習に比べてパフォーマンス優位性を示すか？

主な発見

• マルチエージェント学習は、知的エージェントの数が増加するにつれて、平均速度と交通フローの観点で転移学習を上回った。
• 訓練済みエージェントの数が増えるにつれて混雑インシデントの数は増加したが、最も深刻な閉塞（図6の濃灰色線）は約50件で安定しており、最悪ケースのパフォーマンスが一貫していることが示された。
• 両戦略下で混雑インシデントの大部分が低減速（1〜11mph）を伴っていたことから、エージェントが軽微な擾乱から素早く回復できることを示している。
• 転移学習戦略はマルチエージェント学習と同等の平均パフォーマンスを示したが、共同学習によって得られる適応的相互作用能力に欠けていた。
• 交通フローのパターンから、減速の大きさと回復時間の長さが、混雑インシデントの数よりもフロー品質に大きな影響を与えていることが明らかになった。
• 結果から、高速道路に存在する知的エージェントの割合が増加するに従い、マルチエージェント学習の重要性が高まると示唆される。