[论文解读] A Learnable Self-supervised Task for Unsupervised Domain Adaptation on Point Clouds

Xiaoyuan Luo, Shaolei Liu+3 more|arXiv (Cornell University)|Apr 12, 2021

Human Pose and Action Recognition参考文献 32被引用 11

一句话总结

本文提出了一种可学习的自监督任务，用于点云处理中的无监督域自适应（UDA），利用神经网络学习非线性变换以破坏并重建点云的部分内容。通过在主分类任务与基于重建的自监督任务之间共享编码器，模型学习到可迁移的局部特征，在PointDA-10和PointSegDA基准上实现了最先进性能。

ABSTRACT

Deep neural networks have achieved promising performance in supervised point cloud applications, but manual annotation is extremely expensive and time-consuming in supervised learning schemes. Unsupervised domain adaptation (UDA) addresses this problem by training a model with only labeled data in the source domain but making the model generalize well in the target domain. Existing studies show that self-supervised learning using both source and target domain data can help improve the adaptability of trained models, but they all rely on hand-crafted designs of the self-supervised tasks. In this paper, we propose a learnable self-supervised task and integrate it into a self-supervision-based point cloud UDA architecture. Specifically, we propose a learnable nonlinear transformation that transforms a part of a point cloud to generate abundant and complicated point clouds while retaining the original semantic information, and the proposed self-supervised task is to reconstruct the original point cloud from the transformed ones. In the UDA architecture, an encoder is shared between the networks for the self-supervised task and the main task of point cloud classification or segmentation, so that the encoder can be trained to extract features suitable for both the source and the target domain data. Experiments on PointDA-10 and PointSegDA datasets show that the proposed method achieves new state-of-the-art performance on both classification and segmentation tasks of point cloud UDA. Code will be made publicly available.

研究动机与目标

• 通过在无目标域标签的情况下实现域泛化，降低监督3D点云学习中人工标注的高昂成本。
• 克服现有点云UDA方法中手工设计的自监督任务的局限性。
• 通过学习非线性变换以实现破坏-重建，提升源域与目标域之间的特征可迁移性。
• 在多任务学习框架中使用共享编码器，在点云UDA基准上实现最先进性能。

提出的方法

• 提出一种基于深度神经网络的可学习非线性变换，用于破坏点云的一部分，同时保留语义内容并生成复杂变体。
• 设计一种破坏-重建自监督任务，使模型能够从变换后的版本中重建原始点云。
• 将自监督任务整合到多任务UDA框架中，采用共享编码器和分别用于主任务（分类/分割）与辅助任务（重建）的分支头。
• 应用多区域变换策略，以在训练过程中促使模型聚焦于局部、更具可迁移性的特征。
• 使用目标域的伪标签训练辅助网络，实现在源域和目标域数据上的联合优化。
• 通过对抗性学习训练编码器，以生成对两个域均鲁棒且域不变的特征。

实验结果

研究问题

• RQ1 可学习的、基于神经网络的变换是否能在点云自监督UDA中超越手工设计的破坏方法？
• RQ2 将可学习的重建任务整合是否能提升点云分类与分割任务中跨域偏移的特征可迁移性？
• RQ3 多区域变换策略对UDA中的性能和局部特征学习有何影响？
• RQ4 所学习的变换能否作为域自适应之外的有效数据增强策略？

主要发现

• 当使用PointNet作为编码器时，该方法在PointDA-10基准上实现了66.5%的新最先进平均分类准确率。
• 当使用DGCNN作为编码器时，该方法在PointDA-10基准上实现了70.0%的新最先进平均准确率。
• 所学习的变换提升了泛化能力，作为数据增强策略时达到63.0%的平均准确率，在大多数设置下优于基线方法和先前方法。
• 与单区域学习相比，多区域变换策略将准确率提升了1.0%，证明其在聚焦局部特征方面的有效性。
• 即使不使用域自适应，仅自监督任务本身即可达到63.5%的平均准确率，超过基线方法及PointDAN和DefRec等先前方法。
• 该方法在PointSegDA基准的分类与分割任务中均优于现有最先进方法，证实了其广泛适用性。