[论文解读] Dual Adaptive Transformations for Weakly Supervised Point Cloud Segmentation

Zhonghua Wu, Yicheng Wu+3 more|arXiv (Cornell University)|Jul 19, 2022

3D Shape Modeling and Analysis被引用 5

一句话总结

本文提出了一种新型弱监督点云分割框架——双重自适应变换（DAT），通过自适应的局部与区域扰动强制模型一致性，从而在稀疏标注下提升泛化能力。通过集成局部自适应扰动（LAP）与区域自适应形变（RAD）模块，DAT在S3DIS数据集的'One Thing One Click'设置下，mIoU指标达到62.3%，较之前最先进方法提升6.5%。

ABSTRACT

Weakly supervised point cloud segmentation, i.e. semantically segmenting a point cloud with only a few labeled points in the whole 3D scene, is highly desirable due to the heavy burden of collecting abundant dense annotations for the model training. However, existing methods remain challenging to accurately segment 3D point clouds since limited annotated data may lead to insufficient guidance for label propagation to unlabeled data. Considering the smoothness-based methods have achieved promising progress, in this paper, we advocate applying the consistency constraint under various perturbations to effectively regularize unlabeled 3D points. Specifically, we propose a novel DAT ( extbf{D}ual extbf{A}daptive extbf{T}ransformations) model for weakly supervised point cloud segmentation, where the dual adaptive transformations are performed via an adversarial strategy at both point-level and region-level, aiming at enforcing the local and structural smoothness constraints on 3D point clouds. We evaluate our proposed DAT model with two popular backbones on the large-scale S3DIS and ScanNet-V2 datasets. Extensive experiments demonstrate that our model can effectively leverage the unlabeled 3D points and achieve significant performance gains on both datasets, setting new state-of-the-art performance for weakly supervised point cloud segmentation.

研究动机与目标

• 解决仅使用少量标注点训练高精度3D点云分割模型的挑战。
• 通过更有效地利用未标注数据，提升弱监督设置下的标签传播与模型泛化能力。
• 开发一种鲁棒且一致的训练策略，通过自适应变换在点级与区域级强制平滑性。
• 在S3DIS与ScanNet-v2等大规模基准上实现最先进性能，且仅需极少监督。

提出的方法

• 提出一种双重自适应变换（DAT）框架，通过在点级与区域级应用自适应扰动施加一致性约束。
• 引入局部自适应扰动（LAP）模块，基于在线估计的类别分布生成自适应坐标与类别感知特征扰动。
• 采用区域自适应形变（RAD）模块，对超点区域应用自适应仿射变换（如平移、缩放、旋转），以强制结构一致性。
• 采用对抗性策略训练变换模块，确保在多样化自适应扰动下预测结果保持一致。
• 端到端应用标准点云主干网络（如KPConv、PointNet++），并可无缝集成至现有弱监督框架。
• 利用伪标签与迭代优化，通过扰动视图间的一致性预测指导未标注点的学习。

实验结果

研究问题

• RQ1 当仅有稀疏标注时，基于自适应一致性数据增强能否提升弱监督3D点云分割性能？
• RQ2 如何通过针对点云几何与特征分布定制的自适应变换，有效建模局部与区域平滑性约束？
• RQ3 所提出的双层级变换策略能否在不同点云架构与基准上实现泛化？
• RQ4 该方法在即插即用集成中，能在多大程度上提升现有最先进模型（如1T1C）的性能？

主要发现

• 在S3DIS数据集的'One Thing One Click'设置下，DAT相较之前SOTA方法1T1C实现6.5%的mIoU提升，达到62.3%的mIoU。
• 在ScanNet-v2验证集上，DAT在基于1T1C框架的基础上，mIoU较1T1C提升3.0%，达到64.4%的mIoU。
• 当应用于基线模型时，DAT在ScanNet-v2测试集与验证集上分别实现3.2%与3.9%的mIoU提升，展现出强大泛化能力。
• 当应用于体素化主干网络（MinkowskiNet）时，DAT在OTOA与OTTC设置下分别实现5.9%与3.2%的mIoU提升，证实其在不同架构间的通用性。
• 消融实验表明，LAP与RAD模块均对性能有显著贡献，其中类别感知特征扰动有效增强了局部一致性。
• 定性结果表明，DAT能有效保持物体结构，即使仅有20个标注点，也能生成准确且一致的分割结果。