[論文レビュー] Towards a Systematic Computational Framework for Modeling Multi-Agent Decision-Making at Micro Level for Smart Vehicles in a Smart World

Qi Dai, Xunnong Xu+3 more|arXiv (Cornell University)|Sep 25, 2020

Traffic control and management参考文献 54被引用数 17

ひとこと要約

本稿では、リスクプレミアムを効用関数に組み込んだ決定的マルコフゲームを用いて、自律走行車両および人間運転車両のマイクロレベル意思決定をモデル化する計算効率が高く、ゲーム理論的枠組みを提案する。有限の先読み予測を組み込んだ新規の適応的最適化手法を導入し、計算コストを著しく削減しながらほぼナッシュ均衡に近い行動を達成した。実際の高速道路合流シナリオのシミュレーションにより、ナッシュ均衡解と強い行動類似性を示した。

ABSTRACT

We propose a multi-agent based computational framework for modeling decision-making and strategic interaction at micro level for smart vehicles in a smart world. The concepts of Markov game and best response dynamics are heavily leveraged. Our aim is to make the framework conceptually sound and computationally practical for a range of realistic applications, including micro path planning for autonomous vehicles. To this end, we first convert the would-be stochastic game problem into a closely related deterministic one by introducing risk premium in the utility function for each individual agent. We show how the sub-game perfect Nash equilibrium of the simplified deterministic game can be solved by an algorithm based on best response dynamics. In order to better model human driving behaviors with bounded rationality, we seek to further simplify the solution concept by replacing the Nash equilibrium condition with a heuristic and adaptive optimization with finite look-ahead anticipation. In addition, the algorithm corresponding to the new solution concept drastically improves the computational efficiency. To demonstrate how our approach can be applied to realistic traffic settings, we conduct a simulation experiment: to derive merging and yielding behaviors on a double-lane highway with an unexpected barrier. Despite assumption differences involved in the two solution concepts, the derived numerical solutions show that the endogenized driving behaviors are very similar. We also briefly comment on how the proposed framework can be further extended in a number of directions in our forthcoming work, such as behavioral calibration using real traffic video data, computational mechanism design for traffic policy optimization, and so on.

研究の動機と目的

• スマートな世界における自律車両のマイクロレベルでのマルチエージェント意思決定を体系的かつ計算的に実用的なフレームワークとして開発すること。
• ナッシュ均衡の限界（特に高い計算コストと強い合理性仮定）を克服するため、有限の先読み予測を組み込んだヒューリスティックで適応的な最適化手法を導入すること。
• 解概念を単純化することで自律車両のリアルタイムマイクロパスプランニングを可能にするとともに、現実的な運転行動を維持すること。
• 予期せぬ障害物がある二車線道路環境における協調的合流および譲り行動のモデル化において、フレームワークの有効性を実証すること。
• 今後の応用の基盤を築くこと。具体的には、行動キャリブレーション、交通政策最適化、混在交通環境におけるシステムレベルの協調制御。

提案手法

• 各エージェントの効用関数にリスクプレミアムを組み込むことで、確率的ゲームを決定的ゲームに変換し、状態追跡の複雑さを低減する。
• 簡略化された決定的ゲームを、ベストリスポンスダイナミクスを用いて解き、部分ゲーム完全ナッシュ均衡を計算する。
• ナッシュ均衡の現実的でない合理性仮定を緩和するため、有限の先読み予測を組み込んだ適応的最適化に基づく新しい解概念を提案する。
• グリッドサーチを適応的Seekアルゴリズムで用い、最適な行動シーケンスを決定論的に計算することで、多重均衡問題を回避する。
• エージェント間の相互作用を対称的にモデル化し、明示的な異質性（好み、意図、初期条件）を組み込む。
• 異なる初期条件下での二台車両の合流シナリオをシミュレーションし、ナッシュ均衡と適応的最適化の結果を比較することで、フレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 スマートな世界における自律車両のマイクロレベル意思決定に適した、計算効率が高く、概念的に整合性のあるフレームワークをどのように設計できるか？
• RQ2 有限の先読み予測を組み込んだヒューリスティックな適応的最適化手法は、計算負荷を軽減しつつ、どの程度ナッシュ均衡行動を近似できるか？
• RQ3 現実的な交通状況下で、ナッシュ均衡と適応的最適化の解概念の間で、得られた運転行動（合流、譲りなど）はどの程度類似しているか？
• RQ4 モデルパラメータ、効用重み、状態進化における小さなランダムノイズなどの微小な摂動に対し、提案フレームワークはどの程度ロバストか？
• RQ5 このフレームワークは、行動キャリブレーション、交通ルール最適化、混在交通環境におけるシステムレベルの協調制御をサポートするために、どのように拡張可能か？

主な発見

• 有限の先読み予測を組み込んだヒューリスティックな適応的最適化に基づく適応的Seekアルゴリズムは、部分ゲーム完全ナッシュ均衡解から得られるものと視覚的および準定量的に類似した行動シーケンスと車両軌道を達成した。
• 解概念や仮定が異なっても、内生的運転行動（前部合流、後部合流など）は、betaNashと適応的Seekの両手法で顕著に一貫していた。
• 適応的Seek法は計算負荷を著しく削減しながら、小さな時間間隔での二重統合された行動シーケンスにより、滑らかで現実的な車両軌道を維持した。
• 適応的Seekアルゴリズムは多重均衡問題を解消する決定論的解を生成し、確率的アプローチに比べ顕著な利点を示した。
• 両手法の解は、微小なパrameter摂動および状態進化における小さなランダムノイズに対してもロバストであった。
• フレームワークは、予期せぬ障害物がある二車線道路環境において、協調的合流および譲り行動を効果的にモデル化でき、実世界のパスプランニングへの実用的適用性を検証した。