[论文解读] Exploring Data-Efficient 3D Scene Understanding with Contrastive Scene Contexts

Ji Hou, Benjamin Graham+2 more|arXiv (Cornell University)|Dec 16, 2020

3D Surveying and Cultural Heritage参考文献 70被引用 17

一句话总结

本文提出对比场景上下文（Contrastive Scene Contexts），一种3D自监督预训练方法，通过联合利用点级对应关系与空间上下文，提升3D场景理解中的数据效率。通过在未标注点云上进行预训练，并仅使用极少标签进行微调——在实例分割任务中仅使用0.1%的标注点即达到全标注性能的89%——该方法显著降低了标注成本，同时优于PointContrast等先前方法。

ABSTRACT

The rapid progress in 3D scene understanding has come with growing demand for data; however, collecting and annotating 3D scenes (e.g. point clouds) are notoriously hard. For example, the number of scenes (e.g. indoor rooms) that can be accessed and scanned might be limited; even given sufficient data, acquiring 3D labels (e.g. instance masks) requires intensive human labor. In this paper, we explore data-efficient learning for 3D point cloud. As a first step towards this direction, we propose Contrastive Scene Contexts, a 3D pre-training method that makes use of both point-level correspondences and spatial contexts in a scene. Our method achieves state-of-the-art results on a suite of benchmarks where training data or labels are scarce. Our study reveals that exhaustive labelling of 3D point clouds might be unnecessary; and remarkably, on ScanNet, even using 0.1% of point labels, we still achieve 89% (instance segmentation) and 96% (semantic segmentation) of the baseline performance that uses full annotations.

研究动机与目标

• 解决真实世界场景理解中3D点云标注成本高、数据稀缺的问题。
• 探索通过减少对大规模人工标注数据的依赖，实现数据高效的3D学习。
• 在有限监督下提升3D模型在下游任务（如实例分割与目标检测）中的可迁移性与性能。
• 支持实际数据采集策略，如通过学习到的特征聚类实现主动标注。
• 证明在使用上下文感知的自监督预训练时，全面的3D标注可能并非必要。

提出的方法

• 提出一种对比学习框架，联合优化3D场景中的点级对应关系与空间上下文。
• 使用随机裁剪与点删除等数据增强方法，生成对比学习的正样本与负样本。
• 通过构建局部邻域图来整合空间上下文，并将其作为正样本形成的一部分。
• 采用共享权重的孪生网络架构，编码点云特征并计算对比损失。
• 利用预训练特征初始化下游模型，以极小标签数据进行微调。
• 通过聚类预训练点特征，实现主动标注，优先选择信息量丰富且多样化的点进行标注。

实验结果

研究问题

• RQ1 将空间上下文整合进对比学习是否能提升数据高效场景理解的3D表示学习？
• RQ2 在3D实例分割与语义分割中，达到竞争力性能所需的最少标注数据量是多少？
• RQ3 自监督预训练是否能减少3D点云数据集中对全面人工标注的依赖？
• RQ4 所提出方法是否能在杂乱的3D场景中实现有效的主动学习策略？
• RQ5 在数据稀缺设置下，该方法与PointContrast等SOTA方法相比性能如何？

主要发现

• 在ScanNet数据集上，该方法仅使用0.1%的点标注，即实现实例分割mAP@0.5达到基线性能的89%。
• 在语义分割任务中，相同0.1%的标签预算下，该方法达到全标注性能的96%。
• 在Limited Annotations（LA）设置下，该方法在实例分割的mAP@0.5上比PointContrast高出5.4分，且每场景仅使用200个标注点。
• 在S3DIS数据集上，该方法在语义分割中实现72.2%的mIoU，超过PointContrast报告的监督预训练结果。
• 在Limited Scene Reconstructions（LR）设置下，仅使用20%的场景进行训练时，使用该方法预训练权重微调，mAP@0.5提升16.3分。
• 由预训练特征引导的主动标注在杂乱场景中能覆盖更多不同对象，证明了采样效率的提升。