[论文解读] End-to-End 3D-PointCloud Semantic Segmentation for Autonomous Driving

Mohammed Abdou, Mahmoud Elkhateeb+2 more|arXiv (Cornell University)|Jun 26, 2019

3D Shape Modeling and Analysis参考文献 22被引用 4

一句话总结

本文提出加权自增量迁移学习方法，以解决自动驾驶中3D点云语义分割的类别不平衡问题。通过先对非主导类别进行加权损失与增量训练，该方法显著提升了行人和自行车等稀有类别分割性能，在KITTI基准上相比基线PointNet++实现39.2%的整体平均IoU提升。

ABSTRACT

3D semantic scene labeling is a fundamental task for Autonomous Driving. Recent work shows the capability of Deep Neural Networks in labeling 3D point sets provided by sensors like LiDAR, and Radar. Imbalanced distribution of classes in the dataset is one of the challenges that face 3D semantic scene labeling task. This leads to misclassifying for the non-dominant classes which suffer from two main problems: a) rare appearance in the dataset, and b) few sensor points reflected from one object of these classes. This paper proposes a Weighted Self-Incremental Transfer Learning as a generalized methodology that solves the imbalanced training dataset problems. It re-weights the components of the loss function computed from individual classes based on their frequencies in the training dataset, and applies Self-Incremental Transfer Learning by running the Neural Network model on non-dominant classes first, then dominant classes one-by-one are added. The experimental results introduce a new 3D point cloud semantic segmentation benchmark for KITTI dataset.

研究动机与目标

• 解决3D点云数据集中类别不平衡的挑战，特别是在自动驾驶应用中的问题。
• 克服现有方法在准确分割行人和自行车等稀有细粒度类别方面的局限性。
• 开发一种通用的端到端深度学习方法，提升模型泛化能力并防止增量学习过程中的灾难性遗忘。
• 基于所提方法在KITTI数据集上建立3D语义分割的新基准。

提出的方法

• 应用基于类别频率和数据集中每类点云密度的加权交叉熵损失函数，为低频类别分配更高的惩罚权重。
• 实施自增量迁移学习策略，优先对非主导的细粒度类别（如行人、自行车）进行训练，随后逐步引入主导类别（如汽车、卡车）。
• 使用前期训练阶段的预训练模型作为后续训练阶段的初始化，确保知识保留且无遗忘。
• 基于两个因素计算类别权重：(1) 每类在数据集中实例的数量；(2) 每类对应的LiDAR反射点数量。
• 使用加权损失与增量类别添加流程联合训练PointNet++主干网络，避免依赖外部预训练模型。
• 通过所有类别上的平均交并比（mIoU）评估性能，并通过消融实验比较仅加权损失、仅自增量训练与完整方法的差异。

实验结果

研究问题

• RQ1 仅使用加权损失函数是否能有效缓解稀疏LiDAR点云3D语义分割中的类别不平衡问题？
• RQ2 仅使用自增量迁移学习是否能防止灾难性遗忘，同时提升类别不平衡数据集中稀有类别的分割性能？
• RQ3 将加权损失与在非主导类别上的增量训练相结合，是否能显著提升行人和自行车等细粒度类别在mIoU上的表现？
• RQ4 所提方法是否在不同类别上具有泛化能力，并在真实自动驾驶数据集（如KITTI）上保持鲁棒性？

主要发现

• 基线PointNet++模型无法对行人和自行车进行分类，在KITTI数据集上这两类的mIoU接近零。
• 仅使用加权损失函数无法解决类别不平衡问题，因为模型仍因表示学习不足而错误分类稀有类别。
• 仅使用自增量迁移学习会导致灾难性遗忘，即在添加如汽车等新主导类别后，模型在先前学习的类别（如行人和自行车）上准确率下降。
• 所提的加权自增量迁移学习方法相比基线，使汽车类别的mIoU提升6.71%，厢车型类别的mIoU提升11.17%。
• 在所提方法下，此前无法分类的行人和自行车类别分别获得15.33%和22.96%的mIoU得分。
• 整体平均IoU相比基线提升39.2%，证明该方法在处理类别不平衡问题方面具有显著有效性，并实现了稳定且可泛化的3D语义分割。