[论文解读] Integrating kinematics and environment context into deep inverse reinforcement learning for predicting off-road vehicle trajectories

Yanfu Zhang, Wenshan Wang+3 more|arXiv (Cornell University)|Oct 16, 2018

Autonomous Vehicle Technology and Safety被引用 5

一句话总结

该论文提出了一种两阶段深度逆强化学习框架，联合建模运动学状态与基于LiDAR的环境上下文，以预测非铺装路面车辆的轨迹。通过在特征提取阶段整合运动学信息而非状态空间，该方法避免了状态空间复杂度的指数级增长，在自建的30公里非铺装路面数据集上，性能优于扩展卡尔曼滤波（EKF）、行为克隆（BC）以及忽略运动学信息的逆强化学习方法，能够捕捉交叉口处的多模态行为及与速度相关的运动模式。

ABSTRACT

Predicting the motion of a mobile agent from a third-person perspective is an important component for many robotics applications, such as autonomous navigation and tracking. With accurate motion prediction of other agents, robots can plan for more intelligent behaviors to achieve specified objectives, instead of acting in a purely reactive way. Previous work addresses motion prediction by either only filtering kinematics, or using hand-designed and learned representations of the environment. Instead of separating kinematic and environmental context, we propose a novel approach to integrate both into an inverse reinforcement learning (IRL) framework for trajectory prediction. Instead of exponentially increasing the state-space complexity with kinematics, we propose a two-stage neural network architecture that considers motion and environment together to recover the reward function. The first-stage network learns feature representations of the environment using low-level LiDAR statistics and the second-stage network combines those learned features with kinematics data. We collected over 30 km of off-road driving data and validated experimentally that our method can effectively extract useful environmental and kinematic features. We generate accurate predictions of the distribution of future trajectories of the vehicle, encoding complex behaviors such as multi-modal distributions at road intersections, and even show different predictions at the same intersection depending on the vehicle's speed.

研究动机与目标

• 解决现有运动预测方法将运动学与环境分开处理所导致的代理行为建模不完整的问题。
• 通过在特征提取阶段整合运动学特征而非在状态空间中处理，克服将运动学引入逆强化学习所导致的指数级状态空间复杂度问题。
• 通过联合建模动态运动与环境上下文，提升非铺装路面自主导航中的轨迹预测泛化能力与准确性。
• 在包含多样化地形与复杂行为的真实非铺装驾驶数据集上，验证所提方法的有效性。

提出的方法

• 采用两阶段神经网络：第一阶段处理低层次LiDAR统计量，提取环境特征，如路径可通行性与障碍物存在性。
• 第二阶段将学习到的环境特征与固定时间窗口内的历史运动学状态（位置、速度、朝向）融合，以预测未来轨迹分布。
• 采用逆强化学习方法恢复能解释专家驾驶示范的奖励函数，使模型能够推断出复杂的多模态行为。
• 在消融研究中，将LiDAR输入替换为常数值，以隔离环境上下文对预测精度的贡献。
• 使用真实非铺装驾驶中采集的专家轨迹进行端到端训练，损失函数基于负对数似然（NLL）与豪斯多夫距离（HD）进行评估。
• 采用残差网络架构进行特征提取，并使用概率解码器输出多模态轨迹分布。

实验结果

研究问题

• RQ1 在统一的深度逆强化学习框架中联合建模运动学与环境上下文，是否能相比将两者分开处理的方法提升轨迹预测精度？
• RQ2 在特征提取阶段建模运动学，而非在状态空间中处理，是否能缓解高维运动学状态带来的指数级复杂度问题？
• RQ3 速度与环境上下文如何共同影响非铺装路面交叉口处预测轨迹的多模态特性？
• RQ4 在开放、无约束环境中，缺乏运动学上下文在多大程度上会降低预测性能？
• RQ5 该模型能否学习到一个具有速度相关不确定性圆锥的前向运动模型，以反映真实的车辆动力学？

主要发现

• 所提方法在测试集上取得了最低的NLL（0.69）与HD（6.71），优于EKF（NLL：N.A.，HD：9.12）、行为克隆（NLL：0.87，HD：10.54）以及忽略运动学的深度逆强化学习（NLL：1.33，HD：25.46）。
• 在交叉口处，模型预测出多模态轨迹，低速时具有更高的不确定性与多条合理路径，而高速车辆则表现出更确定的直线预测。
• 消融研究证实，移除运动学特征后，在开阔地形中预测结果变得模糊且高度不确定，因模型缺乏方向意图。
• 第一阶段网络学习到编码可通行路径区域与LiDAR统计量，特征图在路径段上呈现密集激活，在障碍物上则为稀疏模式。
• 第二阶段网络学习到一个与车辆朝向对齐的前向运动模型，其不确定性圆锥宽度随速度变化，反映了真实的动态不确定性。
• 将LiDAR输入替换为常数值显著降低了预测质量，证明了环境上下文对行为建模的关键作用。