[论文解读] Adaptive Hierarchical Down-Sampling for Point Cloud Classification

Ehsan Nezhadarya, Ehsan Taghavi+3 more|arXiv (Cornell University)|Apr 11, 2019

3D Shape Modeling and Analysis参考文献 30被引用 7

一句话总结

本文提出了一种新颖的确定性、自适应且排列不变的下采样层——关键点层（Critical Points Layer, CPL），用于点云分类。与随机或基于k-NN的方法不同，CPL能够学习保留最核心（关键）的点，从而在降低计算成本的同时实现高精度的3D物体分类。基于CPL构建的CP-Net在ModelNet40数据集上实现了92.41%的准确率，优于当前最先进方法，同时保持了高效性。

ABSTRACT

While several convolution-like operators have recently been proposed for extracting features out of point clouds, down-sampling an unordered point cloud in a deep neural network has not been rigorously studied. Existing methods down-sample the points regardless of their importance for the output. As a result, some important points in the point cloud may be removed, while less valuable points may be passed to the next layers. In contrast, adaptive down-sampling methods sample the points by taking into account the importance of each point, which varies based on the application, task and training data. In this paper, we propose a permutation-invariant learning-based adaptive down-sampling layer, called Critical Points Layer (CPL), which reduces the number of points in an unordered point cloud while retaining the important points. Unlike most graph-based point cloud down-sampling methods that use $k$-NN search algorithm to find the neighbouring points, CPL is a global down-sampling method, rendering it computationally very efficient. The proposed layer can be used along with any graph-based point cloud convolution layer to form a convolutional neural network, dubbed CP-Net in this paper. We introduce a CP-Net for $3$D object classification that achieves the best accuracy for the ModelNet$40$ dataset among point cloud-based methods, which validates the effectiveness of the CPL.

研究动机与目标

• 解决现有下采样方法随机或启发式地丢弃点所导致的几何信息损失问题。
• 开发一种确定性、排列不变且自适应的下采样层，能够在神经网络推理过程中学习保留重要点。
• 将所提出的层集成到深度学习架构中用于3D物体分类，提升准确率的同时降低计算负载。
• 为点云处理流水线中的随机或基于k-NN的下采样提供更高效、更可靠的替代方案。

提出的方法

• 提出关键点层（CPL），一种全局、确定性且排列不变的下采样层，基于学习到的重要性得分选择点。
• CPL使用可微注意力机制为每个点计算可学习的重要性得分，支持通过下采样操作进行反向传播。
• 该层通过选择重要性得分最高的前k个点实现全局下采样，确保输出是输入点的子集。
• 提出一种加权变体WCPL，利用可学习权重进一步优化关键点的选择。
• 将CPL与WCPL集成到一种分层网络架构CP-Net中，结合基于图的卷积层实现3D特征学习。
• 使用交叉熵损失端到端训练整个CP-Net，使下采样层能够自适应地学习任务特定的关键点。

实验结果

研究问题

• RQ1 确定性、自适应的下采样层是否能比随机或基于k-NN的方法更有效地保留无序点云中的关键几何特征？
• RQ2 所提出的CPL层在分类准确率和推理效率方面与现有下采样技术相比表现如何？
• RQ3 CPL的全局特性在多大程度上降低了与基于邻域的下采样方法相比的计算复杂度？
• RQ4 将CPL集成到深度网络架构（CP-Net）中是否能在标准3D物体分类基准上实现最先进性能？

主要发现

• CP-Net在ModelNet40数据集上达到92.41%的分类准确率，优于PointNet（89.20%）和DGCNN（91.84%），且瓶颈尺寸更大。
• 即使瓶颈尺寸仅为64，CP-Net仍达到89.35%的准确率，超过使用1024维瓶颈的PointNet。
• 下采样比例对准确率影响极小：当从1024个点减少到64个点时，CPL的准确率仅下降0.73%，表明其具有出色的特征保留能力。
• 若将CPL替换为1/4比例的随机下采样，CP-Net准确率降至91.47%，证明自适应选择的优越性。
• CP-Net在P100 GPU上每批次运行时间为118.9 ms，优于PointNet++（232.2 ms）和DGCNN（134.5 ms），尽管其模型尺寸更大（57 MB）。
• 所提方法具有确定性和排列不变性，确保相同输入的推理输出一致，优于随机采样器。