[论文解读] Self-Point-Flow: Self-Supervised Scene Flow Estimation from Point Clouds with Optimal Transport and Random Walk

Ruibo Li, Guosheng Lin+1 more|arXiv (Cornell University)|May 18, 2021

Advanced Vision and Imaging参考文献 40被引用 5

一句话总结

该论文提出 Self-Point-Flow，一种基于最优传输的自监督方法，用于从点云中估计 3D 场景光流，通过最优传输实现多模态对应匹配，并利用随机游走进行伪标签优化。通过将 3D 坐标、颜色和表面法线整合到具有质量相等约束的最优传输框架中，并通过基于图的随机游走强制实现局部一致性，该方法在 FlyingThings3D 和 KITTI 数据集上实现了最先进性能，某些情况下甚至在无任何真实标签监督的情况下超越了有监督基线方法。

ABSTRACT

Due to the scarcity of annotated scene flow data, self-supervised scene flow learning in point clouds has attracted increasing attention. In the self-supervised manner, establishing correspondences between two point clouds to approximate scene flow is an effective approach. Previous methods often obtain correspondences by applying point-wise matching that only takes the distance on 3D point coordinates into account, introducing two critical issues: (1) it overlooks other discriminative measures, such as color and surface normal, which often bring fruitful clues for accurate matching; and (2) it often generates sub-par performance, as the matching is operated in an unconstrained situation, where multiple points can be ended up with the same corresponding point. To address the issues, we formulate this matching task as an optimal transport problem. The output optimal assignment matrix can be utilized to guide the generation of pseudo ground truth. In this optimal transport, we design the transport cost by considering multiple descriptors and encourage one-to-one matching by mass equality constraints. Also, constructing a graph on the points, a random walk module is introduced to encourage the local consistency of the pseudo labels. Comprehensive experiments on FlyingThings3D and KITTI show that our method achieves state-of-the-art performance among self-supervised learning methods. Our self-supervised method even performs on par with some supervised learning approaches, although we do not need any ground truth flow for training.

研究动机与目标

• 通过实现自监督学习来缓解真实世界 3D 点云中场景光流标注数据稀缺的问题。
• 克服现有自监督方法仅依赖 3D 坐标进行点匹配的局限性，该方法导致对应关系不准确且不一致。
• 通过将多种描述符——3D 坐标、颜色和表面法线——整合到受约束的最优传输公式中，改进对应匹配。
• 通过基于图的随机游走模块强制实现局部一致性，以平滑和优化光流预测，从而提升伪标签质量。
• 尽管训练过程中未使用任何真实光流标注，仍实现与有监督方法相当的性能。

提出的方法

• 将点对应匹配建模为最优传输问题，使用基于 3D 坐标、表面法线和颜色特征的代价矩阵。
• 通过最优传输公式中的质量相等约束强制实现一对一匹配，防止多对一分配。
• 通过计算匹配点之间的坐标差，从有效对应关系中生成伪真实光流向量。
• 在点云上构建图，其中每个点为一个节点，并使用 3D 距离定义边权重以编码局部相似性。
• 在无向图上应用随机游走以传播和平滑伪标签，确保运动预测的局部一致性。
• 使用有向子图通过迭代标签传播生成未标记点的优化标签，提升鲁棒性与完整性。

实验结果

研究问题

• RQ1 与仅使用坐标的最近邻搜索相比，结合多模态特征（3D 坐标、颜色、法线）的最优传输是否能提升自监督点对应匹配的准确性？
• RQ2 在最优传输中强制实施质量相等约束是否能带来更好的一对一匹配，并减少场景光流估计中的退化解？
• RQ3 基于图的随机游走优化在多大程度上提升了自监督场景光流学习中伪标签的局部一致性和整体质量？
• RQ4 与现有自监督或有监督场景光流方法相比，最优传输与随机游走的结合在标准基准测试上的表现如何？
• RQ5 在训练过程中完全不使用真实光流的情况下，自监督方法是否能达到与有监督方法相当的性能？

主要发现

• 所提出的结合多模态特征（坐标、颜色、法线）和质量相等约束的最优传输模块，使 FlyingThings3D 数据集上的平均分数（AS）提升至 24.36，显著优于基线方法。
• 在最优传输代价中加入颜色和表面法线特征后，AS 从 10.19 提升至 24.36，证明多模态线索在对应匹配中的重要性。
• 基于随机游走的伪标签优化模块使 AS 从 24.36 提升至 41.74，表明局部一致性优化对高质量伪标签至关重要。
• 消融实验证实，无向子图随机游走（UG）带来的提升（从 24.36 提升至 40.88）大于朴素平滑单元（NS），凸显结构化标签传播的有效性。
• 该方法在 FlyingThings3D 上实现 AS 41.74，在 KITTI 上表现具有竞争力，优于其他自监督方法，并接近有监督基线，且未使用任何真实光流。
• 在单张 2080Ti GPU 上，2,048 个点的场景的伪标签生成与优化总耗时为 78.8ms，表明其在实时应用中的实际效率。