[論文レビュー] Can ChatGPT Enable ITS? The Case of Mixed Traffic Control via Reinforcement Learning

Michael Villarreal, Bibek Poudel+1 more|arXiv (Cornell University)|Jun 13, 2023

Traffic Prediction and Management Techniques被引用数 5

ひとこと要約

本研究では、インтелиジェントトランスポーテーションシステム（ITS）におけるミックスド・トラフィック制御の強化学習（RL）状態関数および報酬関数を、非専門家がChatGPT（GPT-4）を活用して効果的に設計できるかを調査する。70名の参加者を対象とした大規模なユーザースタディにおいて、ChatGPTは交差点環境では150%、混雑地点環境では136%の成功RLポリシーを増加させたが、一部のポリシーは専門家を上回った。一方、サークル道路環境では改善が見られず、効果が文脈依存であることが浮き彫りになった。

ABSTRACT

The surge in Reinforcement Learning (RL) applications in Intelligent Transportation Systems (ITS) has contributed to its growth as well as highlighted key challenges. However, defining objectives of RL agents in traffic control and management tasks, as well as aligning policies with these goals through an effective formulation of Markov Decision Process (MDP), can be challenging and often require domain experts in both RL and ITS. Recent advancements in Large Language Models (LLMs) such as GPT-4 highlight their broad general knowledge, reasoning capabilities, and commonsense priors across various domains. In this work, we conduct a large-scale user study involving 70 participants to investigate whether novices can leverage ChatGPT to solve complex mixed traffic control problems. Three environments are tested, including ring road, bottleneck, and intersection. We find ChatGPT has mixed results. For intersection and bottleneck, ChatGPT increases number of successful policies by 150% and 136% compared to solely beginner capabilities, with some of them even outperforming experts. However, ChatGPT does not provide consistent improvements across all scenarios.

研究の動機と目的

• ITSにおける非専門家が、ChatGPTを用いてRLベースのミックスド・トラフィック制御のためのMDPコンponents（状態関数および報酬関数）を効果的に設計できるかを評価すること。
• ChatGPTの支援がある場合とない場合の非専門家による努力を比較し、ポリシーの成功確率がどの程度向上するかを評価すること。
• ChatGPTが非専門家が専門家レベルのベンチマークを上回るポリシーを生成できるかどうかを調査すること。
• ChatGPTの有効性が、さまざまな交通制御環境（サークル道路、混雑地点、交差点）においてどのように変動するかを分析すること。
• 複雑なITSアプリケーションにおけるマルコフ決定過程（MDP）の定式化における技術的障壁を低減する役割を、LLMが果たすものかどうかを検討すること。

提案手法

• 70名のITS非専門家を対象とした大規模ユーザースタディを実施。制御群（LLMアクセス不可）と研究群（ChatGPTの制限なしアクセス）に分ける。
• 参加者は、サークル道路、混雑地点、交差点の3つのミックスド・トラフィック制御環境について、状態関数および報酬関数を設計した。
• 一貫性を確保するため、RLの基礎、MDPの例、交通指標、環境記述を含む標準化されたマニュスクリプトを用いた。
• 定式化されたMDPを用いてRLポリシーを訓練・評価し、標準的な交通指標（例：流出量、平均速度、キュー長）を用いて成功度を測定した。
• 制御群と研究群のポリシー性能を比較し、専門家ベンチマークを用いて比較評価を行った。
• 成功確率の向上を定量的に評価し、ChatGPTを介して導入された新しい指標の使用状況を分析した。

Figure 1: Three mixed traffic control environments [ 13 ] (a deep reinforcement learning framework for traffic management), Ring, Bottleneck, and Intersection, are provided to the study participants. Robot vehicles are red and are controlled by learnt RL policies. Human-driven vehicles are white and

実験結果

リサーチクエスチョン

• RQ1 ITSにおける非専門家は、ChatGPTを用いてミックスド・トラフィック制御問題のための効果的なMDPコンponents（状態関数および報酬関数）を設計できるか？
• RQ2 ChatGPTの支援がある場合、非専門家による努力に比べて、成功RLポリシーの数が顕著に増加するか？
• RQ3 ChatGPTの支援を受けて生成されたポリシーは、特定の交通環境において専門家レベルのポリシーを上回ることができるか？
• RQ4 なぜChatGPTは一部の環境（例：交差点、混雑地点）ではパフォーマンスを向上させるが、他の環境（例：サークル道路）では向上しないのか？
• RQ5 参加者のChatGPT使用パターンが、ポリシーの成功または失敗とどの程度相関しているか？

主な発見

• 交差点環境では、ChatGPTの支援により、制御群と比較して成功ポリシーの数が150%増加した。そのうち4つの成功ポリシーは専門家ベンチマークを上回った。
• 混雑地点環境では、ChatGPTの使用により成功ポリシーが136%増加した。研究群では19件の成功ポリシーが得られたが、制御群では14件であった。
• ChatGPTは、状態関数および報酬関数における新しい交通指標の使用を363%増加させたが、すべての新指標が成功ポリシーに繋がったわけではない。
• サークル道路環境では、ChatGPTが新しい指標を生成し、応答品質を向上させたにもかかわらず、ポリシーの成功確率に顕著な改善は見られなかった。
• 特にChatGPTの支援を受けて作成された非専門家の一部のポリシーは、専門家ポリシーを上回るパフォーマンスを達成しており、ITSのRL定式化において必要な熟練度に関する従来の仮定に疑問を呈している。
• ChatGPTの有効性は、参加者の使用パターンに強く依存しており、一貫性のないまたは表面的なプロンプト入力は、高品質なLLMの応答があっても結果を制限する傾向にあった。

Figure 2: Example prompting by two novices, Novice A and Novice B, with ChatGPT response excerpts for the ring environment. The novices’ prompts are given exactly. Only conversation portions are provided for brevity purposes. Novice A, unlike Novice B and most other participants, starts the conversa