[论文解读] Cooperative Motion Planning for Non-Holonomic Agents with Value Iteration Networks

Eike Rehder, Maximilian Naumann+2 more|arXiv (Cornell University)|Sep 15, 2017

Robotic Path Planning Algorithms参考文献 9被引用 4

一句话总结

本文提出了一种基于梯度下降训练的互联价值迭代网络（VINs）协作运动规划框架，用于非完整约束机器人。通过在方向性状态网格中建模非完整约束，并在智能体之间施加相互成本惩罚，该方法实现了高效、去中心化的轨迹规划，能够解决通过狭窄通道或在会车点让行等复杂协调任务，仿真结果表明无需显式协调信号即可成功实现协作。

ABSTRACT

Cooperative motion planning is still a challenging task for robots. Recently, Value Iteration Networks (VINs) were proposed to model motion planning tasks as Neural Networks. In this work, we extend VINs to solve cooperative planning tasks under non-holonomic constraints. For this, we interconnect multiple VINs to pay respect to each other's outputs. Policies for cooperation are generated via iterative gradient descend. Validation in simulation shows that the resulting networks can resolve non-holonomic motion planning problems that require cooperation.

研究动机与目标

• 解决多个非完整约束机器人在共享受限环境中的协作运动规划挑战。
• 通过引入与方向相关的状态转移，将价值迭代网络（VINs）扩展以建模非完整约束。
• 在梯度下降框架中通过相互成本惩罚实现在无显式通信情况下的去中心化协作。
• 证明所学习的策略能够解决如在狭窄通道或会车点让行等复杂协调任务。
• 通过结合规划与软约束及动态成本自适应，使方法适用于自动驾驶车辆编队或城市导航等现实场景。

提出的方法

• 该方法通过引入包含离散方向（例如每45°一个方向，共8个方向）的3D网格表示，扩展了标准VINs，以建模非完整运动约束。
• 每个智能体由独立的VIN建模，该VIN在带有动作状态转移滤波器的网格地图上执行前向值迭代，动作包括直行、左前斜行、右前斜行和等待。
• 在训练过程中，通过在智能体的VIN之间施加相互成本惩罚，使每个智能体的成本函数包含对其它智能体轨迹重叠的惩罚，从而促进协作。
• 通过动作值上的软最小化（softmin）生成策略，最终动作基于学习到的注意力权重选择，实现平滑、可微的策略输出。
• 系统使用静态占用网格，动态碰撞成本加权为转移成本的100倍，以将障碍物规避作为软约束强制执行。
• 通过在联合成本函数上进行迭代梯度下降进行训练，每个VIN根据另一智能体预测的轨迹更新其策略，从而实现协作的自然涌现。

实验结果

研究问题

• RQ1 能否将价值迭代网络扩展以在多智能体系统中建模非完整运动约束？
• RQ2 在无显式通信或集中协调的情况下，多智能体运动规划中协作行为如何自然涌现？
• RQ3 在可微框架中，相互成本惩罚是否能实现约束环境中有效且无碰撞的协调？
• RQ4 该方法在需要时间协调的场景（如在狭窄通道或会车点让行）中表现如何？
• RQ5 该方法能否推广到智能体之间互不可达或控制访问不对称的情况？

主要发现

• 该方法通过生成符合非完整约束的圆形轨迹，成功解决了单智能体回转任务。
• 在双智能体场景中，网络正确识别出更接近狭窄通道的智能体，并优先允许其先行，展示了有效的协作能力。
• 当存在会车点时，智能体协调实现机器人1让行给机器人2，最小化总成本并避免死锁。
• 当由于非完整约束导致狭窄通道不可达时，网络退化为单智能体解法，表现出对约束违反的鲁棒性。
• 软最小化与可微成本函数的结合，实现了平滑的策略学习，并支持跨智能体的有效梯度优化。
• 系统表明，协作行为自然源于相互成本惩罚，无需显式协调信号或共享规划。