[论文解读] Associate-3Ddet: Perceptual-to-Conceptual Association for 3D Point Cloud Object Detection

Liang Du, Xiaoqing Ye+5 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Neural Network Applications参考文献 43被引用 15

一句话总结

Associate-3Ddet 提出了一种受大脑启发的域自适应框架，通过将真实、稀疏且被遮挡场景中的弱感知特征与密集、完整、类别特定的模型中的鲁棒概念特征相关联，从而提升3D点云目标检测性能。通过在自监督的感知到概念模块（P2C）中学习感知特征与概念特征的对齐，并采用对不完整性敏感的重加权机制，该方法在KITTI 3D检测基准上实现了最先进性能，相较于基线模型将AP₃d提升了2.39%。

ABSTRACT

Object detection from 3D point clouds remains a challenging task, though recent studies pushed the envelope with the deep learning techniques. Owing to the severe spatial occlusion and inherent variance of point density with the distance to sensors, appearance of a same object varies a lot in point cloud data. Designing robust feature representation against such appearance changes is hence the key issue in a 3D object detection method. In this paper, we innovatively propose a domain adaptation like approach to enhance the robustness of the feature representation. More specifically, we bridge the gap between the perceptual domain where the feature comes from a real scene and the conceptual domain where the feature is extracted from an augmented scene consisting of non-occlusion point cloud rich of detailed information. This domain adaptation approach mimics the functionality of the human brain when proceeding object perception. Extensive experiments demonstrate that our simple yet effective approach fundamentally boosts the performance of 3D point cloud object detection and achieves the state-of-the-art results.

研究动机与目标

• 解决真实世界LiDAR数据中由于遮挡和点云密度变化导致的3D点云外观不一致问题。
• 提升远距离或被遮挡目标的特征鲁棒性，这些目标在现有3D检测器中常导致性能不佳。
• 通过将真实场景中的感知特征与完整、类别特定的3D模型中的概念特征相连接，模拟人类的联想识别机制。
• 开发一种自包含的方法来构建概念模型，无需依赖外部数据集。
• 通过感知域与概念域之间的域自适应，在KITTI 3D检测基准上实现最先进性能。

提出的方法

• 提出一种感知到概念（P2C）模块，将物体特征从感知域（真实LiDAR扫描）自适应地转换到概念域（增强的、密集的、无遮挡的模型）。
• 通过从同一数据集中选取高密度、视角对齐的3D实例来构建概念模型，依据旋转角度和点云密度进行过滤，以确保结构和视角的一致性。
• 应用对不完整性敏感的重加权图来平衡特征自适应，强调可靠区域，抑制感知特征中噪声或缺失部分的影响。
• 采用类孪生网络结合对比损失，将感知特征与对应的概念特征对齐，实现在无需外部数据情况下的域自适应。
• 将P2C模块集成到基于稀疏卷积的3D检测器（如PointPillars或类似模型）中，以即插即用的方式增强特征学习。
• 采用概念引导的特征（CFG）头，在训练过程中利用概念特征以提升泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 感知到概念的特征关联是否能提升在遮挡和低点云密度条件下的3D目标检测鲁棒性？
• RQ2 在真实场景感知特征与合成、完整的概念模型之间进行域自适应，在3D检测中效果如何？
• RQ3 在不依赖外部数据源的前提下，构建内部概念模型的最优策略是什么？
• RQ4 对不完整性敏感的重加权机制如何改善稀疏感知特征与密集概念特征之间的特征对齐？
• RQ5 所提出方法在标准基准（如KITTI）上超越最先进方法的程度如何？

主要发现

• Associate-3Ddet 在KITTI 3D检测基准上实现了79.17%的AP₃d（IoU=0.7），相较于基线模型绝对提升了2.39%。
• 消融实验表明，包含P2C、CFG和重加权的完整方法在困难样本上性能提升了2.39%，证明了所提组件的有效性。
• 仅使用概念特征进行训练（真实 + 概念数据）在简单样本上达到90.69%的AP₃d，表明概念数据本身即可实现高精度。
• 该方法在困难样本上达到77.76%的AP₃d，显示出对具有挑战性的遮挡或远距离物体的强大泛化能力。
• 将概念模型选择阈值设定为每角度范围内最密集实例的20%时，性能达到最优，AP₃d为79.17%。
• 定性结果表明，该方法显著提升了对被遮挡和远距离车辆的检测性能，而这些目标在基线模型中通常被误检。