[论文解读] Escape from Cells: Deep Kd-Networks for the Recognition of 3D Point Cloud Models

Roman Klokov, Victor Lempitsky|arXiv (Cornell University)|Apr 4, 2017

3D Shape Modeling and Analysis被引用 4

一句话总结

本文提出Kd-networks，一种利用kd-trees对3D点云进行结构化并实现无均匀网格依赖的层次化特征学习的深度学习架构。通过在树节点间共享参数并应用乘法变换，Kd-networks在3D形状分类、检索和部件分割任务中实现了与基于网格的ConvNets相当的性能，同时内存占用更低、推理速度更快。

ABSTRACT

We present a new deep learning architecture (called Kd-network) that is designed for 3D model recognition tasks and works with unstructured point clouds. The new architecture performs multiplicative transformations and share parameters of these transformations according to the subdivisions of the point clouds imposed onto them by Kd-trees. Unlike the currently dominant convolutional architectures that usually require rasterization on uniform two-dimensional or three-dimensional grids, Kd-networks do not rely on such grids in any way and therefore avoid poor scaling behaviour. In a series of experiments with popular shape recognition benchmarks, Kd-networks demonstrate competitive performance in a number of shape recognition tasks such as shape classification, shape retrieval and shape part segmentation.

研究动机与目标

• 解决依赖均匀体素网格进行点云处理的3D卷积网络在可扩展性和效率方面的局限性。
• 探究类似kd-trees这样的层次化空间索引结构是否可作为深度学习架构的基础，如同网格在传统ConvNets中的作用。
• 设计一种基于kd-tree划分的参数共享机制，以实现在非结构化点云上的有效层次化特征学习。
• 在标准3D识别基准上评估所提出架构的性能，包括分类、检索和部件分割任务。
• 证明基于树的架构可在降低内存占用和计算时间的同时，达到或超越基于网格的模型性能。

提出的方法

• Kd-network架构使用kd-tree递归地将3D点云划分为空间子集，形成层次化树结构。
• kd-tree中的每个内部节点对其子节点的特征应用共享的、可学习的乘法变换，从而在空间子划分之间实现参数共享。
• 网络以自底向上的前馈方式处理树结构，通过kd-tree的各级节点聚合特征，构建层次化表征。
• 特征变换通过可学习的权重矩阵对节点表征进行乘法操作实现，每层均应用ReLU非线性和批量归一化。
• 对于部件分割任务，网络采用12层深度架构，中间表征维度逐层递增，并使用包含三个全连接层的分类头作为最终输出。
• 通过数据增强和多树推理（对多个kd-tree构造结果的预测进行平均）来提升模型的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 基于kd-tree的计算图能否作为3D点云识别深度学习中均匀网格的有效且可扩展的替代方案？
• RQ2 在kd-tree节点间实现参数共享是否能在降低内存消耗的同时，实现3D识别任务的竞争力表现？
• RQ3 Kd-networks在形状分类、检索和部件分割任务中，与当前最先进基于网格和基于点的模型相比表现如何？
• RQ4 kd-tree的层次结构在在多大程度上保留了对精确识别至关重要的细粒度几何细节？
• RQ5 Kd-networks能否避免体素化带来的伪影和低效性，同时保持高精度？

主要发现

• Kd-networks在ModelNet10和ModelNet40基准上实现了具有竞争力的性能，其中在ModelNet40上的top-1准确率达到91.7%，与当前最先进基于网格的模型相当。
• 在SHREC’16检索基准上，Kd-networks实现了85.2%的平均精度均值（mAP），优于多个基线方法。
• 在ShapeNet-part数据集的部件分割任务中，Kd-networks实现了55.8%的平均交并比（mIoU），表现具有竞争力，但略低于PointNet的性能。
• 单个训练样本的内存占用低于120 MB，显著低于典型基于网格的模型，证明了其更高的效率。
• 该架构对类别不平衡具有鲁棒性，并在多样化3D形状上泛化良好，分割输出中未观察到由底层kd-tree结构引起的可见伪影。
• 在ModelNet基准上，Kd-networks优于OctNets和依赖边的图基ConvNets，表明kd-trees在粗粒度形状分类任务中尤为适用。