[论文解读] Act to Reason: A Dynamic Game Theoretical Model of Driving

Cevahir Köprülü, Yıldıray Yıldız|arXiv (Cornell University)|Jan 14, 2021

Evacuation and Crowd Dynamics被引用 2

一句话总结

本文提出了一种用于驾驶员行为的动态层次k博弈论模型，其中智能体通过强化学习选择推理层级作为动作，而非采用固定策略。通过实现实时适应交通状况，该模型相比固定层级智能体将碰撞率降低了高达60%，尤其在混合与动态交通环境中表现更优。

ABSTRACT

The focus of this paper is to propose a driver model that incorporates human reasoning levels as actions during interactions with other drivers. Different from earlier work using game theoretical human reasoning levels, we propose a dynamic approach, where the actions are the levels themselves, instead of conventional driving actions such as accelerating or braking. This results in a dynamic behavior, where the agent adapts to its environment by exploiting different behavior models as available moves to choose from, depending on the requirements of the traffic situation. The bounded rationality assumption is preserved since the selectable strategies are designed by adhering to the fact that humans are cognitively limited in their understanding and decision making. Using a highway merging scenario, it is demonstrated that the proposed dynamic approach produces more realistic outcomes compared to the conventional method that employs fixed human reasoning levels.

研究动机与目标

• 解决固定层次k博弈论在建模自适应人类驾驶员行为方面的局限性。
• 开发一种动态驾驶员模型，根据实时环境观测选择推理层级。
• 通过限制可用推理层级的数量来保持有限理性，以反映人类认知约束。
• 通过建模人类类似的适应性，提升自动驾驶仿真中真实感与安全性。
• 实现在无需依赖信念函数的前提下，对拥挤交通场景的可扩展建模。

提出的方法

• 该模型采用两阶段强化学习方法：首先训练固定层次k策略（层次1至层次3），然后训练元策略以选择推理层级。
• 推理层级（k=1,2,3）在第二层强化学习策略中被视为动作，支持动态策略切换。
• 智能体基于对环境的部分观测选择推理层级，避免依赖信念函数。
• 基于DQN的算法训练层级选择策略，以在不同交通条件下最大化长期奖励。
• 随后，根据所选推理层级对应的策略采样驾驶动作。
• 该框架通过将可用推理层级限制在有限且符合人类认知能力的集合内，保持了有限理性。

实验结果

研究问题

• RQ1 与固定层次k方法相比，动态层次k模型是否能提升复杂交通场景下的驾驶员行为建模效果？
• RQ2 在混合与动态交通环境中，推理层级的动态选择如何影响碰撞率？
• RQ3 所提方法是否能在无需信念函数的前提下，扩展至拥挤的多智能体交通场景？
• RQ4 该动态模型是否能更好地捕捉人类在实时交通交互中的适应性？
• RQ5 该动态方法在计算上是否可行且在多样化交通构成下具有鲁棒性？

主要发现

• 在混合交通中，动态层次k智能体实现了1.5%的最低碰撞率，优于所有固定层次智能体。
• 在层次k交通中，当固定层次智能体与同层次对手匹配时表现显著更差（例如，层次1在层次1交通中碰撞率达20.7%）。
• 与层次1智能体相比，动态智能体在混合交通中将第一类碰撞减少了100%，标准化事故数量为0 vs. 89.744。
• 动态智能体在所有事故类型中均表现更优，标准化第二类与第三类事故数量分别为0.008和0.033，显著低于固定层次智能体的数值。
• 由于基于直接观测的推理，该模型在拥挤场景中表现出可扩展性，避免了计算量庞大的信念更新。
• 该框架通过将推理层级限制在有限且符合人类认知能力的集合内，保持了有限理性。