[论文解读] 3D Point Cloud Classification and Segmentation using 3D Modified Fisher Vector Representation for Convolutional Neural Networks

Yizhak Ben-Shabat, Michael Lindenbaum+1 more|arXiv (Cornell University)|Nov 22, 2017

3D Shape Modeling and Analysis参考文献 24被引用 49

一句话总结

本文提出3D改进Fisher向量（3DmFV），一种结合3D网格结构与连续Fisher向量分量的混合点云表征方法，通过一种新型CNN架构（3DmFV-Net）实现高效、精确的3D点云分类与部件分割。该方法在基准数据集上实现了最先进性能，具有较高的准确率与对噪声及数据损坏的鲁棒性，表明非学习特征可在无需端到端学习的情况下取得优异结果。

ABSTRACT

The point cloud is gaining prominence as a method for representing 3D shapes, but its irregular format poses a challenge for deep learning methods. The common solution of transforming the data into a 3D voxel grid introduces its own challenges, mainly large memory size. In this paper we propose a novel 3D point cloud representation called 3D Modified Fisher Vectors (3DmFV). Our representation is hybrid as it combines the discrete structure of a grid with continuous generalization of Fisher vectors, in a compact and computationally efficient way. Using the grid enables us to design a new CNN architecture for point cloud classification and part segmentation. In a series of experiments we demonstrate competitive performance or even better than state-of-the-art on challenging benchmark datasets.

研究动机与目标

• 为解决卷积神经网络（CNN）在非结构化、无序3D点云上的应用挑战，这些点云天然不适合网格化架构。
• 开发一种紧凑、计算高效且顺序不变的表征方法，以保留点云的细粒度细节，同时支持CNN处理。
• 设计一种专为3DmFV表征量身定制的新3D CNN架构（3DmFV-Net），用于点云分类与部件分割。
• 评估方法在常见真实世界数据损坏（如点删除、异常值、噪声和旋转）下的鲁棒性。
• 证明非学习、手工设计的特征可实现最先进性能，挑战端到端学习始终必要的假设。

提出的方法

• 3DmFV表征使用在3D网格上均匀分布的高斯混合模型（GMM）来编码点云数据，将其表示为相对于聚类中心的偏差。
• 通过用点集的任意函数替代均值统计量，对Fisher向量进行泛化，从而生成更丰富、更具语义意义的特征分量。
• 网格结构提供空间组织，同时保留连续、可微分的表征，使CNN能有效应用。
• 设计了一种专用于3DmFV输入的新3DmFV-Net架构，利用3D卷积实现点云分类与部件分割。
• 该方法在3DmFV特征上进行端到端训练，尽管特征本身是无监督且非学习的。
• 通过在点删除、异常值、扰动噪声和随机旋转等不同损坏条件下进行训练与测试，评估鲁棒性。

实验结果

研究问题

• RQ1 结合离散网格结构与连续Fisher向量分量的混合表征是否能有效支持CNN进行3D点云分类？
• RQ2 使用非学习、无监督的特征表征（3DmFV）是否仍能在3D点云分析中实现最先进性能？
• RQ3 3DmFV-Net在真实世界数据损坏（如点缺失、噪声和旋转）下的表现如何？
• RQ4 3DmFV表征能否有效扩展至部件分割任务，并在类别不平衡数据集上取得具有竞争力的结果？
• RQ5 是否必须对所有组件进行端到端学习才能获得高性能，还是手工特征已足够？

主要发现

• 3DmFV-Net在ModelNet10和ModelNet40基准测试中分别实现了84.3%和82.0%的平均类别准确率，达到最先进水平。
• 在ShapeNet部件分割数据集上，该方法实现了94.0%的平均交并比（IoU），在总平均IoU上优于所有其他方法。
• 在部件分割任务中，3DmFV-Net在16个类别中的9个类别上表现最佳，超过其他方法在最多4个类别中胜出的水平。
• 模型对扰动噪声和均匀点删除表现出高度鲁棒性，在这些条件下准确率下降极小。
• 性能在网格分辨率和输入点数增加时趋于饱和，表明超过特定阈值后收益递减。
• 只要标准差不过小，方法对标准差选择不敏感，可避免出现空FV表征。