[论文解读] USIP: Unsupervised Stable Interest Point Detection from 3D Point Clouds

Jiaxin Li, Gim Hee Lee|arXiv (Cornell University)|Mar 30, 2019

3D Shape Modeling and Analysis参考文献 39被引用 18

一句话总结

该论文提出 USIP，一种基于无监督深度学习的 3D 关键点检测器，可在任意 SE(3) 变换下从 3D 点云中检测出高度可重复且精确定位的兴趣点，且无需任何真实标注。该方法采用特征提议网络（Feature Proposal Network），结合概率 Chamfer 损失与点对点损失，在随机变换的点云对上进行训练，实现了在可重复性、独特性和速度方面的最先进性能。

ABSTRACT

In this paper, we propose the USIP detector: an Unsupervised Stable Interest Point detector that can detect highly repeatable and accurately localized keypoints from 3D point clouds under arbitrary transformations without the need for any ground truth training data. Our USIP detector consists of a feature proposal network that learns stable keypoints from input 3D point clouds and their respective transformed pairs from randomly generated transformations. We provide degeneracy analysis of our USIP detector and suggest solutions to prevent it. We encourage high repeatability and accurate localization of the keypoints with a probabilistic chamfer loss that minimizes the distances between the detected keypoints from the training point cloud pairs. Extensive experimental results of repeatability tests on several simulated and real-world 3D point cloud datasets from Lidar, RGB-D and CAD models show that our USIP detector significantly outperforms existing hand-crafted and deep learning-based 3D keypoint detectors. Our code is available at the project website. https://github.com/lijx10/USIP

研究动机与目标

• 为解决缺乏在任意变换下具有可重复性的有效 3D 关键点检测器的问题，尤其是在缺乏真实标注进行监督的情况下。
• 克服手工设计的检测器在 3D 点云中的局限性，这些检测器在几何不变性方面表现不佳，且对视角变化缺乏鲁棒性。
• 开发一种无需标注关键点数据的深度学习检测器，从而可在具有随机变换的合成数据上进行训练。
• 通过回归关键点位置而非从点云中选择现有点，提升关键点定位精度。
• 通过理论分析与缓解策略，确保网络训练过程中的稳定性并防止退化。

提出的方法

• 提出一种特征提议网络（FPN），从 3D 点云中回归关键点坐标与显著性分数，实现亚体素级定位，而非从离散点中选择。
• 使用通过随机 SE(3) 变换生成的点云对对 FPN 进行训练，从而实现对旋转与平移的不变性。
• 引入一种概率 Chamfer 损失，最小化对应点云对中检测到的关键点之间的距离，以促进高可重复性。
• 引入点对点损失，约束检测到的关键点靠近输入点云，从而提升定位精度。
• 进行退化分析并提出解决方案，以防止训练过程中的崩溃，如正则化与损失加权。
• 在无真实标注的合成数据上进行自监督训练，使方法完全无监督，适用于真实世界 3D 数据。

实验结果

研究问题

• RQ1 基于深度学习的 3D 关键点检测器是否能在无任何真实标注监督的情况下，实现对任意 SE(3) 变换的高可重复性？
• RQ2 如何在不从点云中选择现有点的基础上，进一步提升关键点定位精度？
• RQ3 哪些损失函数在训练无监督 3D 关键点检测器时有效，能最大化可重复性与定位精度？
• RQ4 如何诊断并防止在自监督 3D 关键点检测中出现的网络退化？
• RQ5 所提出的检测器是否能在多种 3D 数据类型（包括 LiDAR、RGB-D 和 CAD 模型）上实现泛化，并与各类描述子有效配合？

主要发现

• 当与深度描述子结合时，USIP 在 KITTI 数据集上实现了最低的配准失败率（0.24%）和最高的内点比例（28.0%），显著优于其他所有检测器。
• 在最优配置下，USIP 将 KITTI 数据集上的失败率降低至 0.24%，内点比例提升至 28.0%，远超 3DFeatNet（0.57% 失败率，12.9% 内点比例）。
• USIP 的推理速度比 3DFeatNet 及其他检测器快逾 10 倍，平均每个点云的推理时间为 0.011 秒，可提取 128 个关键点。
• 概率 Chamfer 损失在模拟与真实数据集上经过大量可重复性测试验证，能有效促进关键点在变换下的可重复性。
• USIP 在多种数据模态上表现出强大的泛化能力，涵盖 ModelNet40（CAD）、Redwood（RGB-D）以及 Oxford RobotCar 和 KITTI（LiDAR）数据集。
• 该方法对严重下采样和噪声扫描具有鲁棒性，在纹理稀疏、几何稀疏的挑战性 RGB-D 数据集上仍能保持高性能。