[论文解读] HPLFlowNet: Hierarchical Permutohedral Lattice FlowNet for Scene Flow Estimation on Large-scale Point Clouds

Xiuye Gu, Yijie Wang+3 more|arXiv (Cornell University)|Jun 12, 2019

Advanced Vision and Imaging参考文献 45被引用 14

一句话总结

HPLFlowNet 提出了一种基于分层排列单纯形格点的深度神经网络，用于在大规模点云上进行端到端的3D场景光流估计。通过引入新型的 DownBCL、UpBCL 和 CorrBCL 操作，该方法能够高效处理非结构化数据，同时保留结构信息。在 FlyingThings3D 和 KITTI 数据集上实现了最先进性能，无需微调即可良好泛化至真实世界数据和不同点云密度，且每帧可处理高达 86K 个点，计算成本低。

ABSTRACT

We present a novel deep neural network architecture for end-to-end scene flow estimation that directly operates on large-scale 3D point clouds. Inspired by Bilateral Convolutional Layers (BCL), we propose novel DownBCL, UpBCL, and CorrBCL operations that restore structural information from unstructured point clouds, and fuse information from two consecutive point clouds. Operating on discrete and sparse permutohedral lattice points, our architectural design is parsimonious in computational cost. Our model can efficiently process a pair of point cloud frames at once with a maximum of 86K points per frame. Our approach achieves state-of-the-art performance on the FlyingThings3D and KITTI Scene Flow 2015 datasets. Moreover, trained on synthetic data, our approach shows great generalization ability on real-world data and on different point densities without fine-tuning.

研究动机与目标

• 解决在不划分场景或下采样点的情况下，对大规模、非结构化点云高效估计密集 3D 场景光流的挑战。
• 在特征学习过程中，从无序、稀疏且不规则的点云中恢复结构信息。
• 在不同点云密度下实现鲁棒性能，特别是在采样不均匀的真实世界场景中。
• 在分层、结构化的空间中有效融合两帧连续点云的信息，以实现精确的运动估计。
• 在保持高精度的同时降低计算成本，实现在大规模数据上的全帧处理。

提出的方法

• 受双边卷积层启发，但针对离散、稀疏的排列单纯形格点进行适配，提出 DownBCL、UpBCL 和 CorrBCL 操作，以高效处理非结构化点云。
• 将输入点云信号映射到排列单纯形格点上，在多尺度上执行分层稀疏卷积，并将结果插值回原始点。
• 采用分层沙漏网络结构：通过 DownBCL 层下采样，通过跨帧的 CorrBCL 实现特征融合，再通过 UpBCL 层上采样以重建密集光流场。
• 提出一种新型密度归一化方案，稳定不同点云密度下的特征学习，提升泛化能力，无需微调。
• 采用相对位置编码和拼接相关性，而非逐元素乘法，以保留多尺度上下文信息并支持跳跃连接。
• 在一次前向传播中处理完整的点云对，避免局部块划分或下采样，从而保留全局上下文和边界精度。

实验结果

研究问题

• RQ1 能否设计一种深度学习架构，在不采用局部块划分或下采样策略的情况下，高效处理大规模、非结构化的 3D 点云以实现场景光流估计？
• RQ2 在特征学习过程中，如何有效从无序、稀疏且不规则的点云中恢复结构信息？
• RQ3 模型是否能在不进行微调的情况下，对不同点云密度和真实世界数据分布实现良好泛化？
• RQ4 在分层、结构化的空间中，融合两帧连续点云信息的最优方式是什么？
• RQ5 如何在保持高精度的同时最小化 3D 场景光流估计的计算成本？

主要发现

• 在 FlyingThings3D 上，HPLFlowNet 在每帧 8,192 个点时达到 0.0804 的 EPE3D，性能优于先前方法，包括 FlowNet3D。
• 在 KITTI Scene Flow 2015 上，HPLFlowNet 使用全部 86K 个点/帧，实现 0.1087 的 EPE3D，展现出在真实世界数据上的强大性能。
• 该模型对不同点云密度具有稳健的泛化能力：即使在 65,536 个点/帧下评估，EPE3D 仍保持稳定（0.1087），尽管其训练数据为 8,192 个点/帧。
• 所提出的密度归一化方案显著提升泛化性能，在 65,536 个点的 KITTI 输入上，EPE3D 相较于非归一化基线降低 0.0766（0.1842 vs. 0.1087）。
• HPLFlowNet 平均比原始 BCL 快 44%，且其运行时间不随输入规模线性增长，验证了其架构效率。
• 消融实验表明，跳跃连接、多尺度 CorrBCL 和拼接相关性对性能至关重要，而原始归一化方案性能显著下降。