[论文解读] BiPointNet: Binary Neural Network for Point Clouds

Haotong Qin, Zhongang Cai+6 more|arXiv (Cornell University)|Oct 12, 2020

3D Shape Modeling and Analysis参考文献 49被引用 10

一句话总结

BiPointNet 提出首个用于点云深度学习的模型二值化框架，解决了两个关键挑战：聚合引起的特征同质化以及二值化网络中的尺度失真。该方法提出信息熵最大化聚合（EMA），以保留信息熵并减少特征同质化；同时引入逐层尺度恢复（LSR），通过可学习的缩放因子恢复特征表示，从而在边缘设备上实现接近全精度模型的性能，推理速度提升14.7倍，存储减少18.9倍。

ABSTRACT

To alleviate the resource constraint for real-time point cloud applications that run on edge devices, in this paper we present BiPointNet, the first model binarization approach for efficient deep learning on point clouds. We discover that the immense performance drop of binarized models for point clouds mainly stems from two challenges: aggregation-induced feature homogenization that leads to a degradation of information entropy, and scale distortion that hinders optimization and invalidates scale-sensitive structures. With theoretical justifications and in-depth analysis, our BiPointNet introduces Entropy-Maximizing Aggregation (EMA) to modulate the distribution before aggregation for the maximum information entropy, and Layer-wise Scale Recovery (LSR) to efficiently restore feature representation capacity. Extensive experiments show that BiPointNet outperforms existing binarization methods by convincing margins, at the level even comparable with the full precision counterpart. We highlight that our techniques are generic, guaranteeing significant improvements on various fundamental tasks and mainstream backbones. Moreover, BiPointNet gives an impressive 14.7x speedup and 18.9x storage saving on real-world resource-constrained devices.

研究动机与目标

• 为解决由于聚合导致的特征同质化以及二值化网络中尺度失真所引起的二值化点云网络性能严重下降的问题。
• 实现在资源受限的边缘设备上高效部署深度学习模型，以支持实时点云应用。
• 开发一种通用且高效的二值化框架，适用于多种点云主干网络架构。
• 在不牺牲模型准确率的前提下，实现高推理速度和低内存占用。
• 为二值化点云网络中的性能退化机制提供理论洞见。

提出的方法

• 提出信息熵最大化聚合（EMA），在聚合前调节特征分布以最大化信息熵，从而减少特征同质化。
• 引入逐层尺度恢复（LSR），即每层使用可学习的缩放因子，以恢复双线性层的输出尺度，缓解尺度失真问题。
• 将 EMA 和 LSR 应用于 PointNet 主干网络，并扩展至其他架构，包括 PointNet++、PointCNN、DGCNN 和 PointConv。
• LSR 每层仅使用一个可学习参数，确保计算和内存开销极低。
• 采用 Adam 优化器配合余弦退火学习率调度策略，从零开始训练，无需预训练。
• 设计带有可学习缩放因子的双线性层，以稳定二值化网络中的训练过程并提升优化性能。

实验结果

研究问题

• RQ1 为何二值化点云网络相较于全精度模型会出现显著的性能下降？
• RQ2 点云网络中的全局特征聚合在二值化条件下如何加剧特征同质化？
• RQ3 在二值化点云网络中，信息熵能在多大程度上被保留并优化？
• RQ4 尺度失真如何影响二值化点云模型的优化过程与结构功能？
• RQ5 能否开发一种通用的二值化框架，在多种点云网络架构中均保持高性能？

主要发现

• BiPointNet 在多个点云任务（包括分类、部件分割和语义分割）上实现的性能与全精度模型相差约1-2%。
• 在 ShapeNet Part 数据集上，BiPointNet 的平均 mIoU 达到 80.3%（ema-avg）和 80.6%（ema-max），显著优于基线 BNN（最高仅 54.0%）。
• 在 S3DIS 数据集上，BiPointNet 的平均 mIoU 达到 40.9%（ema-avg）和 44.3%（ema-max），而基线 BNN 仅为 9.5%。
• BiPointNet 在真实边缘设备上实现 14.7 倍的速度提升和 18.9 倍的存储减少，展现出显著的效率优势。
• 消融实验表明，EMA 和 LSR 均不可或缺：EMA 提升信息熵，LSR 恢复特征尺度，二者结合效果最佳。
• 该方法在多种主干网络（包括 PointNet++、PointCNN、DGCNN 和 PointConv）上均表现出良好泛化能力，显示出广泛适用性。