[论文解读] Advancements in Point Cloud Data Augmentation for Deep Learning: A Survey

Qinfeng Zhu, Lei Fan+1 more|arXiv (Cornell University)|Aug 23, 2023

3D Shape Modeling and Analysis参考文献 154被引用 4

一句话总结

本综述提出了一种针对深度学习中点云数据增强方法的全面分类法，将其分类为基础方法与专用方法。评估了其在分类、分割和检测任务中的有效性，为方法选择提供指导，并指出了在低数据场景下提升泛化能力和鲁棒性的未来研究方向。

ABSTRACT

Deep learning (DL) has become one of the mainstream and effective methods for point cloud analysis tasks such as detection, segmentation and classification. To reduce overfitting during training DL models and improve model performance especially when the amount and/or diversity of training data are limited, augmentation is often crucial. Although various point cloud data augmentation methods have been widely used in different point cloud processing tasks, there are currently no published systematic surveys or reviews of these methods. Therefore, this article surveys these methods, categorizing them into a taxonomy framework that comprises basic and specialized point cloud data augmentation methods. Through a comprehensive evaluation of these augmentation methods, this article identifies their potentials and limitations, serving as a useful reference for choosing appropriate augmentation methods. In addition, potential directions for future research are recommended. This survey contributes to providing a holistic overview of the current state of point cloud data augmentation, promoting its wider application and development.

研究动机与目标

• 为解决深度学习中点云数据增强方法缺乏系统性综述的问题。
• 提出一种结构化的分类法，根据复杂度和应用背景，将增强技术分为基础方法与专用方法。
• 评估现有增强方法在关键点云任务（如分类、分割和检测）中的性能与局限性。
• 为研究人员提供针对特定任务和数据约束选择合适增强策略的实际指导。
• 识别开放性挑战，并提出点云数据增强领域的未来研究方向。

提出的方法

• 作者提出一种两级分类法：基础增强（如旋转、缩放、翻转等几何变换）与专用增强（如Mixup、Cutout、生成方法），针对特定挑战量身定制。
• 系统性回顾68项近期研究（2017–2023年），识别并分类点云处理中使用的增强技术。
• 评估基础增强方法的简洁性、通用性及其相互组合的广泛使用。
• 基于其设计目标（如提升泛化能力、处理类别不平衡、支持自监督学习）分析专用方法。
• 整合图像数据增强（如Mixup、CutMix）的见解，并将其适配至三维点云特性。
• 采用定性与对比分析方法，评估方法性能、计算成本及其在不同点云任务中的适用性。

实验结果

研究问题

• RQ1 深度学习中点云数据增强方法的关键类别与子类别是什么？
• RQ2 基础与专用增强技术在设计、复杂度与应用范围方面有何差异？
• RQ3 现有增强方法在点云分类、分割与检测中的性能权衡与局限性是什么？
• RQ4 增强技术如何在低数据或类别不平衡条件下提升模型的泛化能力与鲁棒性？
• RQ5 推动点云数据增强发展的有前景的未来研究方向是什么？

主要发现

• 综述发现，基础增强方法（如旋转、缩放、翻转）因简洁性与提升数据多样性的有效性而被广泛使用。
• 专用方法如PointMixUp、CutMix与SAGE-Mix通过学习混合或掩码样本，在点云分类中表现出更优的泛化能力与鲁棒性。
• 生成式增强技术（如GAN与扩散模型，例如PointGAN、扩散模型）在合成真实感点云方面展现出潜力，但面临训练稳定性与模式崩溃的挑战。
• 自动增强框架如PointAugment与MaxUp在自动发现最优增强策略方面展现出前景，降低了超参数敏感性。
• 尽管已有进展，许多方法对数据分布偏移仍敏感，且在不同点云基准测试中表现不一致。
• 本研究指出，当前增强方法常忽视结构与语义一致性，提示需要发展更具语义感知的增强策略。