[论文解读] Geometric Back-projection Network for Point Cloud Classification

Shi Qiu, Saeed Anwar+1 more|arXiv (Cornell University)|Nov 28, 2019

3D Shape Modeling and AnalysisEngineering参考文献 81被引用 17

一句话总结

本文提出了一种几何反投影网络（GBN）用于点云分类，通过在低维3D空间中显式编码几何描述符，并采用注意力机制的纠错反馈机制来优化高层特征，从而增强特征学习。该方法在合成数据集和真实世界基准上均实现了最先进性能，准确率与效率均得到提升。

ABSTRACT

As the basic task of point cloud analysis, classification is fundamental but always challenging. To address some unsolved problems of existing methods, we propose a network that captures geometric features of point clouds for better representations. To achieve this, on the one hand, we enrich the geometric information of points in low-level 3D space explicitly. On the other hand, we apply CNN-based structures in high-level feature spaces to learn local geometric context implicitly. Specifically, we leverage an idea of error-correcting feedback structure to capture the local features of point clouds comprehensively. Furthermore, an attention module based on channel affinity assists the feature map to avoid possible redundancy by emphasizing its distinct channels. The performance on both synthetic and real-world point clouds datasets demonstrate the superiority and applicability of our network. Comparing with other state-of-the-art methods, our approach balances accuracy and efficiency.

研究动机与目标

• 解决现有3D CNN在点云分类中几何特征利用有限的挑战。
• 通过显式利用几何点描述符丰富低层次几何信息，提升特征表示能力。
• 通过纠错反馈机制使高层特征学习能够捕捉局部几何上下文。
• 利用通道级亲和注意力模块减少特征冗余，提升表示紧凑性。
• 在多个3D视觉任务中实现泛化，包括分类、部件分割和3D目标检测。

提出的方法

• 在输入3D空间中显式引入几何点描述符（如法向量、曲率）作为几何先验，以增强低层次点特征。
• 提出一种注意力反投影模块，模拟纠错反馈机制：网络通过比较输入特征与重建特征来优化高层表示。
• 采用基于跳跃连接的前向传播反馈结构，避免训练不稳定性，灵感来源于2D超分辨率与姿态估计方法。
• 结合最大池化与局部邻域共享全连接层，以提取显著性与细粒度的局部几何特征。
• 集成通道级亲和注意力（CAA）模块，基于通道间相关性重新加权特征通道，以抑制冗余并突出独特特征。
• 构建全卷积主干网络，通过多尺度特征聚合实现分割与检测任务，主干网络采用与GBN相同的架构。

实验结果

研究问题

• RQ1 显式低层次几何编码是否能超越基于坐标的特征，在3D点云分类中带来性能提升？
• RQ2 纠错反馈机制如何在不引入训练不稳定性的情况下增强3D CNN中的高层特征学习？
• RQ3 通道级注意力机制在多大程度上可减少冗余并改善点云网络中的特征表示？
• RQ4 所提出的架构是否能在分类任务之外的多个3D视觉任务中实现有效泛化？
• RQ5 与最先进模型相比，该方法是否能在准确率与计算效率之间实现更优平衡？

主要发现

• 在SUN RGB-D V2数据集上，GBN在3D目标检测任务中达到59.3%的mAP@0.25，优于PointNet、PointNet++、DGCNN与RS-CNN。
• 在ShapeNet部件分割数据集上，该方法实现85.1%的实例mIoU，超过多数基线模型，仅次于PointASNL。
• 消融实验表明，几何描述符与注意力反投影模块均对性能提升有显著贡献。
• 通道级亲和注意力（CAA）模块通过可视化与定量分析，证实可减少特征冗余并提升表示紧凑性。
• 网络展现出强大泛化能力，在分类、部件分割与3D检测任务中均达到最先进或具有竞争力的性能。
• 该方法保持高效率，在准确率与计算成本之间平衡优于许多现有最先进方法。