[论文解读] GMSF: Global Matching Scene Flow

Yushan Zhang, Johan Edstedt+4 more|arXiv (Cornell University)|May 27, 2023

Advanced Vision and Imaging被引用 5

一句话总结

GMSF 提出了一种单尺度、一次性全局匹配方法，用于从点云中估计 3D 场景光流，利用混合局部-全局-交叉注意力变换器架构提取鲁棒特征，并仅依赖特征相似性进行匹配。该方法在 FlyingThings3D 上将异常值比例降低至 5.6%，并在 KITTI 和 Waymo-Open 基准测试中超越了先前方法，达到最先进性能。

ABSTRACT

We tackle the task of scene flow estimation from point clouds. Given a source and a target point cloud, the objective is to estimate a translation from each point in the source point cloud to the target, resulting in a 3D motion vector field. Previous dominant scene flow estimation methods require complicated coarse-to-fine or recurrent architectures as a multi-stage refinement. In contrast, we propose a significantly simpler single-scale one-shot global matching to address the problem. Our key finding is that reliable feature similarity between point pairs is essential and sufficient to estimate accurate scene flow. We thus propose to decompose the feature extraction step via a hybrid local-global-cross transformer architecture which is crucial to accurate and robust feature representations. Extensive experiments show that the proposed Global Matching Scene Flow (GMSF) sets a new state-of-the-art on multiple scene flow estimation benchmarks. On FlyingThings3D, with the presence of occlusion points, GMSF reduces the outlier percentage from the previous best performance of 27.4% to 5.6%. On KITTI Scene Flow, without any fine-tuning, our proposed method shows state-of-the-art performance. On the Waymo-Open dataset, the proposed method outperforms previous methods by a large margin. The code is available at https://github.com/ZhangYushan3/GMSF.

研究动机与目标

• 为解决现有场景光流方法中多阶段优化的局限性，特别是处理快速运动和遮挡的问题。
• 通过用单尺度、一次性全局匹配框架替代复杂的自粗到精或循环架构，简化场景光流估计过程。
• 证明可靠的特征相似性在准确估计场景光流方面既必要又充分。
• 通过基于交叉特征和自相似性矩阵的全局匹配，提升在遮挡和大位移情况下的鲁棒性与准确性。
• 在无需微调的情况下，实现在 FlyingThings3D、KITTI Scene Flow 和 Waymo-Open 等多样化基准上的最先进泛化能力。

提出的方法

• 采用混合局部-全局-交叉注意力变换器架构，提取高质量且鲁棒的 3D 点云特征，结合局部几何上下文与全局及跨模态表征。
• 通过全局匹配过程估计场景光流，利用交叉特征相似性矩阵计算从源点到目标点的位移向量加权平均。
• 全局匹配过程能够捕捉短程与远程对应关系，有效处理快速移动物体和大位移。
• 通过自特征相似性矩阵进行细化阶段，以在特征相似区域强制实现平滑性，从而实现对遮挡区域的光流传播。
• 该方法仅依赖特征相似性进行匹配，无需迭代优化或多尺度监督。
• 网络在包含真实场景光流的合成数据集上端到端训练，使用标准指标如 EPE3D、准确率和异常值率。

Figure 1: Method Overview. We propose a simple yet powerful method for scene flow estimation. In the first stage (see Section 3.1 ) we propose a strong local-global-cross transformer architecture that is capable of extracting robust and highly localizable features. In the second stage (see Section 3

实验结果

研究问题

• RQ1 单尺度、一次性全局匹配方法是否能在 3D 场景光流估计中超越多阶段优化方法？
• RQ2 可靠的特征相似性是否足以实现准确且鲁棒的场景光流估计？
• RQ3 在特征表征中，局部、全局与交叉注意力机制的融合在场景光流任务中有多关键？
• RQ4 在未显式使用多尺度或循环优化的情况下，全局匹配在处理大位移和遮挡时的性能极限如何？
• RQ5 所提方法是否能在 FlyingThings3D、KITTI Scene Flow 和 Waymo-Open 等多样化基准上实现有效泛化？

主要发现

• 在 FlyingThings3D 上，GMSF 将异常值比例降低至 5.6%，显著优于此前最先进方法的 27.4%。
• 在 KITTI Scene Flow 上，该方法在无需任何微调的情况下达到最先进性能，展现出强大的泛化能力。
• 在 Waymo-Open 数据集上，GMSF 显著优于先前方法，表明其对真实世界复杂性的强鲁棒性。
• 消融实验表明，分块过程中的局部信息（如通过 DGCNN 或 PointNet）至关重要，仅使用 PointNet 或 MLP 时性能显著下降。
• 128 维特征维度可实现最优性能，当降低至 32 维时准确率明显下降。
• 全局-交叉注意力变换器堆叠结构至关重要：若移除该模块，性能将显著下降，凸显其在捕捉长程依赖关系中的关键作用。

Figure 2: Transformer Architecture . Detailed local (left), global (middle), and cross (right) transformer architecture. The local transformer incorporates attention within a small number of neighbors. The global transformer is applied on the source and target points separately and incorporates atte