[论文解读] MeteorNet: Deep Learning on Dynamic 3D Point Cloud Sequences

Xingyu Liu, Mengyuan Yan+1 more|arXiv (Cornell University)|Oct 21, 2019

Human Pose and Action Recognition参考文献 35被引用 16

一句话总结

MeteorNet 是一种新颖的深度学习架构，通过两种分组方法——直接分组与链式流分组——实现时空邻域聚合，直接处理原始动态3D点云序列，在动作识别、语义分割和场景流估计任务上取得最先进性能，无需体素量化，优于先前方法在 Synthia、KITTI 和 FlyingThings3D 数据集上的表现。

ABSTRACT

Understanding dynamic 3D environment is crucial for robotic agents and many other applications. We propose a novel neural network architecture called $MeteorNet$ for learning representations for dynamic 3D point cloud sequences. Different from previous work that adopts a grid-based representation and applies 3D or 4D convolutions, our network directly processes point clouds. We propose two ways to construct spatiotemporal neighborhoods for each point in the point cloud sequence. Information from these neighborhoods is aggregated to learn features per point. We benchmark our network on a variety of 3D recognition tasks including action recognition, semantic segmentation and scene flow estimation. MeteorNet shows stronger performance than previous grid-based methods while achieving state-of-the-art performance on Synthia. MeteorNet also outperforms previous baseline methods that are able to process at most two consecutive point clouds. To the best of our knowledge, this is the first work on deep learning for dynamic raw point cloud sequences.

研究动机与目标

• 开发一种用于动态3D点云序列的深度学习框架，避免基于网格的量化及其相关误差。
• 解决从具有时间动态的长序列不规则、非均匀3D点云中学习的挑战。
• 通过为每个点构建有效的时空邻域，实现在时间上的鲁棒特征学习。
• 在动作识别、语义分割和场景流估计等多个3D识别任务上，超越现有基于网格和双帧的方法。

提出的方法

• 提出 Meteor 模块，一种可学习的神经网络单元，利用共享的多层感知机（MLPs）和最大池化操作，从时空邻域聚合特征。
• 引入两种邻域构建策略：直接分组（随时间增加半径）和链式流分组（利用预估的场景流追踪帧间运动）。
• 通过堆叠多个 Meteor 模块，分层聚合来自更大时空上下文的信息。
• 直接处理原始点云，无需转换为体素网格，避免基于网格方法固有的量化误差。
• 在邻域点之间共享MLPs，并应用最大池化将局部特征聚合为每个点的表示。
• 采用标准反向传播进行端到端训练，实现特征学习与下游任务头的联合优化。

实验结果

研究问题

• RQ1 深度神经网络能否在不进行网格量化的情况下，有效从原始、非结构化的3D点云序列中学习表示？
• RQ2 不同的时空邻域构建策略——直接分组与链式流分组——如何影响性能与效率？
• RQ3 单一架构能否在动作识别、语义分割和场景流估计等多样化3D识别任务中均实现最先进性能？
• RQ4 增加输入帧数是否能提升动态3D序列理解任务的性能？
• RQ5 模型在链式处理中如何处理稀疏点云及流估计中的误差传播问题？

主要发现

• MeteorNet 在 Synthia 语义分割基准上达到最先进性能，优于仅处理两帧的先前方法。
• 在 KITTI 场景流数据集上，MeteorNet-flow 使用四帧输入时，平均端点误差（EPE）为 0.251，优于 FlowNet3D 的 0.287。
• 链式流分组变体在 KITTI 上实现更低的平均 EPE（0.251），而直接分组变体表现出更低的标准差（0.210），表明其具有更高的鲁棒性。
• MeteorNet 在 MSRAction3D 动作识别数据集上优于先前基线方法，表明其在人类动作序列上具有强大的泛化能力。
• 随着输入帧数增加，性能持续提升，证实了模型中更长时间上下文的优势。
• 可视化结果表明，预测的场景流与真实值高度对齐，尤其在使用链式流分组时，表明其具备精确的运动建模能力。