[论文解读] Interaction-aware Decision Making with Adaptive Strategies under Merging Scenarios

Yeping Hu, Alireza Nakhaei+2 more|arXiv (Cornell University)|Apr 12, 2019

Autonomous Vehicle Technology and Safety参考文献 16被引用 14

一句话总结

本文提出了一种基于自适应策略的交互感知决策方法（IDAS），这是一种多智能体强化学习方法，使自动驾驶车辆能够根据其他驾驶员的合作程度和道路优先级动态调整并线行为。通过利用课程学习和掩码机制，IDAS 学习到一个单一策略，可在各种并线场景中生成安全、高效且类人的协商策略，相比基线方法实现了零碰撞，并提升了并线效率。

ABSTRACT

In order to drive safely and efficiently under merging scenarios, autonomous vehicles should be aware of their surroundings and make decisions by interacting with other road participants. Moreover, different strategies should be made when the autonomous vehicle is interacting with drivers having different level of cooperativeness. Whether the vehicle is on the merge-lane or main-lane will also influence the driving maneuvers since drivers will behave differently when they have the right-of-way than otherwise. Many traditional methods have been proposed to solve decision making problems under merging scenarios. However, these works either are incapable of modeling complicated interactions or require implementing hand-designed rules which cannot properly handle the uncertainties in real-world scenarios. In this paper, we proposed an interaction-aware decision making with adaptive strategies (IDAS) approach that can let the autonomous vehicle negotiate the road with other drivers by leveraging their cooperativeness under merging scenarios. A single policy is learned under the multi-agent reinforcement learning (MARL) setting via the curriculum learning strategy, which enables the agent to automatically infer other drivers' various behaviors and make decisions strategically. A masking mechanism is also proposed to prevent the agent from exploring states that violate common sense of human judgment and increase the learning efficiency. An exemplar merging scenario was used to implement and examine the proposed method.

研究动机与目标

• 开发一种决策框架，使自动驾驶车辆在并线场景中能够与人类驾驶车辆安全高效地交互。
• 解决基于规则和固定行为模型的局限性，这些模型无法适应驾驶员合作程度和交通状况的变化。
• 学习一个统一策略，自动推断其他驾驶员的行为并相应调整策略，而无需人工编码规则。
• 通过建模动态交互并优先考虑真实类人的协商行为，提升并线效率和安全性。
• 通过端到端的多智能体强化学习，在多样化并线场景中实现泛化能力。

提出的方法

• 该方法采用具有双 critic 架构的多智能体强化学习（MARL）：使用去中心化的价值函数和中心化的动作价值函数，以平衡局部决策与全局协调。
• 应用课程学习策略，逐步增加训练场景的复杂性，提升策略的样本效率和收敛性。
• 引入掩码机制，抑制违反常识性人类驾驶行为的状态下的探索，从而提升学习的稳定性和效率。
• 将驾驶员合作程度建模为一个连续类型变量（$b_{type}^{merge}$），使智能体能够推断并适应周围车辆的不同行为倾向。
• 策略在具有预规划路径和已知并线点的仿真环境中进行端到端训练，专注于实现安全高效的协商。
• 该框架支持基于道路优先级（主车道 vs. 并线车道）和相对位置的自适应策略生成，实现上下文感知的决策。

实验结果

研究问题

• RQ1 自动驾驶车辆如何根据周围驾驶员的合作程度水平动态调整其并线策略？
• RQ2 单一统一策略在具有不同交通密度和驾驶员行为的多样化并线场景中，其泛化能力达到何种程度？
• RQ3 基于强化学习的方法能否在无需显式规则编程的情况下，学习类人的协商行为（如根据意图让行或加速）？
• RQ4 课程学习与掩码机制的结合如何提升复杂交互场景中的样本效率和策略稳定性？
• RQ5 所学策略是否能在多个测试场景中实现零碰撞，同时保持高并线效率？

主要发现

• IDAS 策略成功生成了随并线车辆驾驶员类型而变化的差异化驾驶行为，表现为不同合作程度水平下减速度模式和并线时机的变化。
• 在并线点同时到达的场景中，该策略实现了有效的协商：当并线车辆高度合作时会减速，而当检测到主车道车辆有让行意愿时则会加速。
• 并线车辆会根据相对距离和感知到的意图调整策略——当处于后方时减速，必要时让行，而在检测到安全间隙时则加速。
• 该策略在所有测试场景中均实现了零碰撞，展示了在多样化交互条件下卓越的安全性能。
• 两车的速度轨迹呈现出类人的行为特征，包括并线前的减速以及基于相互预期的动态速度调整。
• 该方法在成功率和并线效率方面均优于基线方法，得益于课程学习和自适应策略学习，实现了更强的场景泛化能力。