[论文解读] Trajectory Prediction using Equivariant Continuous Convolution

Robin Walters, Jinxi Li+1 more|arXiv (Cornell University)|Oct 21, 2020

Autonomous Vehicle Technology and Safety参考文献 50被引用 5

一句话总结

该论文提出ECCO，一种用于轨迹预测的旋转等变连续卷积神经网络，通过将物理对称性编码到模型架构中。通过利用基于环面的核参数化和轨道分解，ECCO在Argoverse和TrajNet++数据集上实现了显著更少参数量的最先进精度，同时提升了样本效率，并在旋转场景下保持了物理上一致的预测结果。

ABSTRACT

Trajectory prediction is a critical part of many AI applications, for example, the safe operation of autonomous vehicles. However, current methods are prone to making inconsistent and physically unrealistic predictions. We leverage insights from fluid dynamics to overcome this limitation by considering internal symmetry in real-world trajectories. We propose a novel model, Equivariant Continous COnvolution (ECCO) for improved trajectory prediction. ECCO uses rotationally-equivariant continuous convolutions to embed the symmetries of the system. On both vehicle and pedestrian trajectory datasets, ECCO attains competitive accuracy with significantly fewer parameters. It is also more sample efficient, generalizing automatically from few data points in any orientation. Lastly, ECCO improves generalization with equivariance, resulting in more physically consistent predictions. Our method provides a fresh perspective towards increasing trust and transparency in deep learning models.

研究动机与目标

• 为解决现有轨迹预测模型在旋转变换下缺乏物理一致性和泛化能力差的问题。
• 通过将旋转对称性作为归纳偏置编码，提升样本效率，减少对大规模数据增强的依赖。
• 通过等变权重共享和连续卷积，减少模型参数量，同时保持或提升预测精度。
• 通过嵌入已知的物理对称性（如相互作用的旋转不变性及速度的等变性）来增强深度学习模型的可信度。
• 证明等变性可提升在协变量偏移（如场景旋转）下的泛化能力和鲁棒性。

提出的方法

• ECCO采用连续卷积层，对轨迹的点云表示进行操作，将离散卷积推广到连续空间域。
• 采用基于轨道分解和极坐标索引滤波器的新型权重共享方案，以强制实现旋转等变性。
• 在SO(2)旋转群的标准表示和正则表示上均实现等变性，确保特征在旋转下的一致变换。
• 使用环面核对滤波器进行参数化，以最小化等变性属性的离散化误差，提升数值稳定性。
• 通过群等变卷积操作强制实现等变性，端到端训练使用标准回归损失预测未来轨迹坐标。
• 与自回归模型不同，ECCO同时处理所有智能体，实现高效的联合预测，并更好地建模交互关系。

实验结果

研究问题

• RQ1 旋转等变性是否能在不增加模型复杂度的情况下，提升轨迹预测的泛化能力和样本效率？
• RQ2 当输入场景发生旋转时，等变性如何影响预测的一致性，特别是在存在协变量偏移的真实世界场景中？
• RQ3 与标准方法相比，使用极坐标滤波器的连续卷积在多大程度上能减少等变性离散化误差？
• RQ4 整合物理对称性是否能带来更符合物理规律的预测结果，例如在旋转下保持一致的转向行为？
• RQ5 通过编码对称性归纳偏置，参数更少的模型是否能在基准轨迹数据集上实现具有竞争力的性能？

主要发现

• 在Argoverse和TrajNet++数据集上，ECCO的预测精度与VectorNet和CtsConv等最先进模型相比达到竞争水平或更优，且参数量显著更少。
• 与非等变模型（如CtsConv和VectorNet）相比，ECCO将参数数量减少了高达90%，同时保持或提升了性能。
• 模型展现出优越的样本效率：在学习曲线中，ECCO收敛更快，且在较少训练样本下达到更好的验证性能。
• ECCO的预测在旋转下保持物理一致性：原始场景中的右转在旋转后仍为右转，而相比之下非等变模型会产生不一致的转向。
• 运行时和内存使用表现良好：在30个智能体的场景中，ECCO仅需1.03 GFLOPs和296 MB内存，优于VectorNet的1.23 GFLOPs和171 MB，尽管ECCO同时预测所有智能体。
• 理论和实证分析证实，极坐标索引滤波器能产生更低的等变性离散化误差，从而增强模型的对称性保持能力。