[論文レビュー] Act to Reason: A Dynamic Game Theoretical Model of Driving

Cevahir Köprülü, Yıldıray Yıldız|arXiv (Cornell University)|Jan 14, 2021

Evacuation and Crowd Dynamics被引用数 2

ひとこと要約

本論文は、ドライバー行動をモデル化する動的レベル-kゲーム理論的モデルを提案する。エージェントは固定戦略ではなく強化学習を用いて推論レベルを行動として選択する。交通状況に応じたリアルタイムでの適応を可能にすることで、固定レベルのエージェントと比較して衝突率を最大60％まで低減し、特に混合的かつ動的交通環境下で顕著な効果を示す。

ABSTRACT

The focus of this paper is to propose a driver model that incorporates human reasoning levels as actions during interactions with other drivers. Different from earlier work using game theoretical human reasoning levels, we propose a dynamic approach, where the actions are the levels themselves, instead of conventional driving actions such as accelerating or braking. This results in a dynamic behavior, where the agent adapts to its environment by exploiting different behavior models as available moves to choose from, depending on the requirements of the traffic situation. The bounded rationality assumption is preserved since the selectable strategies are designed by adhering to the fact that humans are cognitively limited in their understanding and decision making. Using a highway merging scenario, it is demonstrated that the proposed dynamic approach produces more realistic outcomes compared to the conventional method that employs fixed human reasoning levels.

研究の動機と目的

• 固定レベル-kゲーム理論が人間ドライバー行動の適応性をモデル化する上で抱える制限を解消すること。
• リアルタイムの環境観測に基づいて推論レベルを選択する動的ドライバーモデルの開発。
• 人間の認知的制約を反映するために、利用可能な推論レベルの数を制限することで、有界合理的性を維持すること。
• 自律走行車のシミュレーションにおける現実性と安全性を向上させるために、交通状況下での人間らしく適応的な行動をモデル化すること。
• 信念関数に依存せずに、混雑した交通状況のスケーラブルなモデル化を可能にすること。

提案手法

• 本モデルは二段階の強化学習アプローチを採用する：まずレベル1からレベル3までの固定レベル-kポリシーを訓練し、次にメタポリシーを訓練して推論レベルを選択する。
• 推論レベル（k=1,2,3）は二段階目のRLポリシーにおける行動として扱われ、動的戦略切り替えを可能にする。
• エージェントは環境の部分的観測に基づいて推論レベルを選択し、信念関数への依存を回避する。
• DQNベースのアルゴリズムにより、変化する交通状況下で長期報酬を最大化するように、レベル選択ポリシーを訓練する。
• その後、選択された推論レベルに対応するポリシーからドライブ行動をサンプリングする。
• 推論レベルの集合を制限することで、人間の認知的制限を反映し、有界合理的性を維持する。

実験結果

リサーチクエスチョン

• RQ1 固定レベル-kアプローチと比較して、動的レベル-kモデルは複雑な交通状況下でのドライバー行動モデリングをどのように改善するか？
• RQ2 推論レベルの動的選択は、混合的かつ動的交通環境下での衝突率にどのように影響を与えるか？
• RQ3 提案手法は、信念関数を必要とせずに、混雑したマルチエージェント交通状況にスケーラブルに適用可能か？
• RQ4 動的モデルは、リアルタイムの交通状況下での人間の適応性をより良く捉えているか？
• RQ5 動的アプローチは、多様な交通構成にわたって計算的に実行可能でかつ頑健か？

主な発見

• 動的レベル-kエージェントは、混合交通状況で1.5％という最低の衝突率を達成し、すべての固定レベルエージェントを上回った。
• レベル-k交通状況では、固定レベルエージェントが自身のレベルと対戦した場合に著しく劣悪な性能を示した（例：レベル1エージェントはレベル1交通で20.7％の衝突を記録）。
• 混合交通状況下で、動的エージェントはレベル1エージェントと比較してタイプ1衝突を100％削減し、正規化された事故件数は0対89.744であった。
• 動的エージェントは全タイプの事故で優れた性能を示し、正規化されたタイプ2およびタイプ3の事故件数はそれぞれ0.008および0.033であったのに対し、固定レベルエージェントではより高い値を示した。
• 信念更新の計算コストが高くなるのを避ける直接的観測に基づく推論により、混雑したシナリオへのスケーラビリティを示した。
• 推論レベルを有限で認知的に妥当な集合に制限することで、有界合理的性を維持した。