[论文解读] Global Context Aware Convolutions for 3D Point Cloud Understanding

Zhiyuan Zhang, Binh‐Son Hua+3 more|arXiv (Cornell University)|Aug 7, 2020

3D Shape Modeling and Analysis参考文献 46被引用 5

一句话总结

本文提出GCAConv，一种旋转不变的3D点云卷积方法，通过在全局加权的局部参考系和锚点中整合全局上下文，增强特征的区分性。通过编码局部邻域与全局形状特征之间的关系，GCAConv在对象分类、部件分割、形状检索和法向量估计等任务中，在面对剧烈旋转时均实现了最先进性能。

ABSTRACT

Recent advances in deep learning for 3D point clouds have shown great promises in scene understanding tasks thanks to the introduction of convolution operators to consume 3D point clouds directly in a neural network. Point cloud data, however, could have arbitrary rotations, especially those acquired from 3D scanning. Recent works show that it is possible to design point cloud convolutions with rotation invariance property, but such methods generally do not perform as well as translation-invariant only convolution. We found that a key reason is that compared to point coordinates, rotation-invariant features consumed by point cloud convolution are not as distinctive. To address this problem, we propose a novel convolution operator that enhances feature distinction by integrating global context information from the input point cloud to the convolution. To this end, a globally weighted local reference frame is constructed in each point neighborhood in which the local point set is decomposed into bins. Anchor points are generated in each bin to represent global shape features. A convolution can then be performed to transform the points and anchor features into final rotation-invariant features. We conduct several experiments on point cloud classification, part segmentation, shape retrieval, and normals estimation to evaluate our convolution, which achieves state-of-the-art accuracy under challenging rotations.

研究动机与目标

• 通过提升特征的区分性，弥合旋转不变与平移不变3D点云卷积之间的性能差距。
• 克服旋转不变特征因几何信息减少而导致的区分性弱于平移不变特征的局限性。
• 将全局形状上下文整合到局部卷积中，以增强判别能力，同时保持旋转不变性。
• 设计一种神经网络架构（GCANet），使其在训练和测试场景中均能稳定表现，且适用于任意旋转。
• 在旋转扰动的数据下，验证全局上下文整合在多个3D理解任务中的有效性。

提出的方法

• 为每个关键点的邻域构建全局加权的局部参考系，以在旋转下保持一致的局部坐标定义。
• 基于全局参考系将每个局部邻域划分为空间子区域，并在每个子区域中生成锚点以表示全局形状特征。
• 对局部点特征和全局锚点特征同时执行卷积操作，生成旋转不变的输出特征。
• 使用可学习的注意力机制加权全局锚点的贡献，确保上下文感知的特征聚合。
• 设计GCANet，一种深层网络架构，通过跳跃连接和归一化堆叠多个GCAConv层，实现鲁棒的特征学习。
• 利用瓶颈层特征进行形状检索和法向量估计任务中的迁移学习，同时保持旋转不变性。

实验结果

研究问题

• RQ1 全局上下文整合能否提升旋转不变3D点云特征的判别能力？
• RQ2 在任意旋转条件下，旋转不变卷积的性能与平移不变卷积相比如何？
• RQ3 全局加权的局部参考系能否增强3D点云中局部特征学习的鲁棒性与一致性？
• RQ4 将全局锚点整合到局部卷积中，是否能提升下游任务在不同旋转模式下的泛化能力？
• RQ5 全局上下文感知在多大程度上能缩小旋转不变与平移不变3D CNN之间的性能差距？

主要发现

• 在ShapeNet Core数据集上，GCAConv在SHREC’17协议下实现了82.9%的精确率和81.3%的NDCG，达到3D形状检索的最先进性能。
• 在ModelNet40数据集的法向量估计任务中，GCAConv在z/SO3、SO3/SO3和z/z旋转模式下的误差标准差仅为0.01，一致性优于RIConv和PointNet++。
• 在对象分类任务中，GCAConv在旋转扰动的测试设置下，性能与或超过平移不变模型（如PointNet++和RS-CNN）。
• 在相同基准上，GCAConv在形状检索任务中实现了66.8%的宏F1分数，优于SFCNN（59.4%）和球面CNN（56.5%）。
• 可视化对比显示，GCAConv生成的法向量最准确且全局一致，高精度区域的误差最小。
• 消融研究证实，全局上下文整合显著提升了特征的区分性，尤其在具有挑战性的旋转条件下。