[论文解读] PolarMix: A General Data Augmentation Technique for LiDAR Point Clouds

Aoran Xiao, Jiaxing Huang+4 more|arXiv (Cornell University)|Jul 30, 2022

Robotics and Sensor-Based Localization被引用 38

一句话总结

PolarMix 提出两种面向 LiDAR 的数据增强策略——场景级方位角交换和实例级旋转粘贴——在保留保真度的同时丰富点云，提高语义分割和目标检测在不同体系结构与数据集上的性能，并有助于无监督域适应。

ABSTRACT

LiDAR point clouds, which are usually scanned by rotating LiDAR sensors continuously, capture precise geometry of the surrounding environment and are crucial to many autonomous detection and navigation tasks. Though many 3D deep architectures have been developed, efficient collection and annotation of large amounts of point clouds remain one major challenge in the analytic and understanding of point cloud data. This paper presents PolarMix, a point cloud augmentation technique that is simple and generic but can mitigate the data constraint effectively across different perception tasks and scenarios. PolarMix enriches point cloud distributions and preserves point cloud fidelity via two cross-scan augmentation strategies that cut, edit, and mix point clouds along the scanning direction. The first is scene-level swapping which exchanges point cloud sectors of two LiDAR scans that are cut along the azimuth axis. The second is instance-level rotation and paste which crops point instances from one LiDAR scan, rotates them by multiple angles (to create multiple copies), and paste the rotated point instances into other scans. Extensive experiments show that PolarMix achieves superior performance consistently across different perception tasks and scenarios. In addition, it can work as plug-and-play for various 3D deep architectures and also performs well for unsupervised domain adaptation.

研究动机与目标

• 针对 LiDAR 点云的数据增强的动机，以解决标注数据有限和领域差距的问题。
• 提出 PolarMix 作为一种简单、通用的增强方法，尊重 LiDAR 的特定属性，如部分可见性和深度相关密度。
• 在多种感知任务（语义分割、目标检测）和数据集上实现改进。
• 证明 PolarMix 作为一个可与不同 3D 架构和无监督域自适应兼容的即插即用模块。

提出的方法

• 在极坐标中定义两种跨扫描的数据增强策略：在扫描之间对方位扇区进行场景级交换，以及对裁剪的语义实例进行旋转和粘贴，具有多种方位角。
• 在输入空间使用掩码和简单几何变换来表达操作，以保持 LiDAR 数据的保真性。
• 允许将增强后的扫描和标签拼接成训练样本，而不修改底层损失函数。
• 提供实现细节和超参数选择（方位角范围、旋转角度和概率）以便实际使用。

实验结果

研究问题

• RQ1 PolarMix 是否能在不同体系结构和数据集上提升 LiDAR 基于的语义分割与目标检测的性能？
• RQ2 PolarMix 是否降低数据需求、提升 LiDAR 学习的数据效率？
• RQ3 PolarMix 能否通过混合源域数据和目标域数据扩展到无监督域自适应？
• RQ4 这两个增强组件（场景级交换和实例级旋转粘贴）如何对性能提升做出贡献？
• RQ5 PolarMix 在不同 LiDAR 传感器和扫描配置下是否有效？

主要发现

• PolarMix 在语义分割方面在 MinkNet、SPVCNN、RandLA-Net 和 Cylinder3D 在 SemanticKITTI、nuScenes-lidarseg 和 SemanticPOSS 上持续带来性能提升。
• PolarMix 提高数据效率，在两种网络的 SemanticKITTI 上，用大约 75% 的标注数据达到相似的 mIoU。
• PolarMix 提升对象检测的 mAP 和 nuScenes 检测分数，覆盖 PointPillar、Second 和 CenterNet。
• PolarMix 在无监督域自适应方面在 SynLiDAR 到 SemanticKITTI 和 SemanticPOSS 上达到最先进水平。
• 消融显示场景级交换和实例级旋转粘贴提供互补增益，完整的 PolarMix 取得最大的改进。