[论文解读] FlowNet3D: Learning Scene Flow in 3D Point Clouds

Xingyu Liu, Charles R. Qi+1 more|arXiv (Cornell University)|Jun 4, 2018

Advanced Vision and Imaging参考文献 38被引用 22

一句话总结

FlowNet3D 是一种深度学习架构，能够以端到端的方式直接从原始点云中估计 3D 场景光流，通过新颖的光流嵌入层和集合上采样卷积（set upconv）层来学习运动表征并传播特征。该模型仅在合成的 FlyingThings3D 数据上进行训练，却能稳健地泛化到真实的 KITTI 激光雷达扫描数据，在性能上超越了非深度学习基线方法，并达到了与最先进方法相当的结果。

ABSTRACT

Many applications in robotics and human-computer interaction can benefit from understanding 3D motion of points in a dynamic environment, widely noted as scene flow. While most previous methods focus on stereo and RGB-D images as input, few try to estimate scene flow directly from point clouds. In this work, we propose a novel deep neural network named $FlowNet3D$ that learns scene flow from point clouds in an end-to-end fashion. Our network simultaneously learns deep hierarchical features of point clouds and flow embeddings that represent point motions, supported by two newly proposed learning layers for point sets. We evaluate the network on both challenging synthetic data from FlyingThings3D and real Lidar scans from KITTI. Trained on synthetic data only, our network successfully generalizes to real scans, outperforming various baselines and showing competitive results to the prior art. We also demonstrate two applications of our scene flow output (scan registration and motion segmentation) to show its potential wide use cases.

研究动机与目标

• 实现直接从点云端到端估计 3D 场景光流，绕过 2D 图像表示。
• 解决缺乏能够直接处理原始点云输入、而不依赖立体或 RGB-D 数据的基于深度学习的 3D 场景光流方法的问题。
• 设计可学习的层，以有效建模点云在时间维度上的空间和几何关系。
• 证明在合成数据上训练的模型能够泛化到真实世界激光雷达扫描数据，从而减少对真实标注数据的依赖。
• 验证场景光流在下游任务（如扫描配准和运动分割）中的实用性。

提出的方法

• 提出一种新颖的光流嵌入层，通过聚合几何相似性和空间相似性，学习跨两个连续点云的点之间的关联，以实现运动编码。
• 引入一种集合上采样卷积（set upconv）层，通过空间注意力和特征注意力机制，学习将特征从一个点集传播到另一个点集，实现智能的上采样。
• 将 PointNet++ 主干网络改造为在共享的编码器-解码器架构中，联合从原始点云中提取分层特征和运动嵌入。
• 采用多尺度特征聚合策略，以捕捉局部和全局上下文信息，实现精确的光流预测。
• 使用双流编码器处理来自两个连续帧的输入点云，并为第一帧中的每个点生成密集的 3D 光流向量。
• 应用可学习的细化头，通过使用集合上采样卷积层进行迭代细化，以优化光流预测。

实验结果

研究问题

• RQ1 深度神经网络能否在不依赖 2D 图像输入的情况下，直接从原始 3D 点云中端到端估计 3D 场景光流？
• RQ2 仅在合成数据上训练的模型能否在不进行微调的情况下有效泛化到真实激光雷达扫描数据？
• RQ3 与标准插值或手工设计特征相比，所提出的光流嵌入层和集合上采样卷积层在运动估计方面有何改进？
• RQ4 FlowNet3D 估计的场景光流能否作为高级 3D 视觉任务（如扫描配准和运动分割）的强信号？
• RQ5 FlowNet3D 在合成与真实世界基准上的性能相对于先前方法如何？

主要发现

• 在 FlyingThings3D 合成基准上，FlowNet3D 相较于先前最先进方法 [31] 实现了 63% 的 3D 端点误差相对降低。
• 在 KITTI 真实激光雷达基准上，FlowNet3D 超过了非深度学习基线方法（如 ICP），并在微调后与先前最先进方法表现相当，尤其在微调后表现更优。
• 即使仅在合成数据上进行训练，FlowNet3D 也能稳健地泛化到真实扫描数据，展现出强大的零样本泛化能力。
• 在 100 帧 KITTI 数据上微调后，FlowNet3D 在测试集上达到最佳性能，配准误差（warping error）的 EPE 为 0.125，优于 ICP 和仅使用场景光流的基线方法。
• 该模型成功实现了鲁棒的部分扫描配准，在 ICP 因陷入局部极小值而失效的情况下仍表现更优，定量和定性结果均验证了这一点。
• 利用 FlowNet3D 的场景光流输出进行运动分割，能清晰区分移动的车辆、行人和静态物体，证明了其在语义运动理解方面的实用性。