[论文解读] Learning Geometry-Disentangled Representation for Complementary Understanding of 3D Object Point Cloud

Mutian Xu, Junhao Zhang+4 more|arXiv (Cornell University)|Dec 20, 2020

3D Shape Modeling and Analysis参考文献 38被引用 14

一句话总结

该论文提出GDANet，一种几何解耦表示框架，通过几何解耦模块动态地将3D点云分解为锐利（轮廓）和缓和（平坦）变化分量。随后，利用锐利-缓和互补注意力模块将这些整体性、互补性的几何特征与原始点特征融合，实现了在3D分类与分割任务上的最先进性能，参数量较先前模型减少84.9%。

ABSTRACT

In 2D image processing, some attempts decompose images into high and low frequency components for describing edge and smooth parts respectively. Similarly, the contour and flat area of 3D objects, such as the boundary and seat area of a chair, describe different but also complementary geometries. However, such investigation is lost in previous deep networks that understand point clouds by directly treating all points or local patches equally. To solve this problem, we propose Geometry-Disentangled Attention Network (GDANet). GDANet introduces Geometry-Disentangle Module to dynamically disentangle point clouds into the contour and flat part of 3D objects, respectively denoted by sharp and gentle variation components. Then GDANet exploits Sharp-Gentle Complementary Attention Module that regards the features from sharp and gentle variation components as two holistic representations, and pays different attentions to them while fusing them respectively with original point cloud features. In this way, our method captures and refines the holistic and complementary 3D geometric semantics from two distinct disentangled components to supplement the local information. Extensive experiments on 3D object classification and segmentation benchmarks demonstrate that GDANet achieves the state-of-the-arts with fewer parameters. Code is released on https://github.com/mutianxu/GDANet.

研究动机与目标

• 为解决现有深度网络对所有点或局部区域同等对待的局限性，忽略3D物体中轮廓与平坦表面的互补几何角色。
• 将3D点云解耦为不同的几何分量——锐利（轮廓）与缓和（平坦区域），以减少冗余并增强语义表征。
• 开发一种机制，捕捉并融合来自这些解耦分量的互补几何语义，以提升局部与全局特征学习能力。
• 在降低模型复杂度的同时，实现最先进性能，并增强对噪声、旋转和点密度变化的鲁棒性。

提出的方法

• 提出几何解耦模块（GDM），利用图信号处理技术，基于几何频率特性，动态地将点云分解为锐利与缓和变化分量。
• 采用从多层级语义特征计算出的动态邻接矩阵，实现对轮廓与平坦区域的上下文感知解耦。
• 使用锐利-缓和互补注意力模块（SGCAM），计算原始点特征与解耦分量特征之间的注意力权重，实现选择性融合。
• 采用最远点选择（FPS）与随机采样策略，选择解耦分量的代表性点，提升对噪声与密度变化的鲁棒性。
• 在训练过程中联合优化解耦与注意力模块，以自适应地学习不同语义层级下的几何结构。
• 用整体性、分量感知的特征融合替代传统的基于KNN的局部聚合，以补充局部邻域信息与全局几何上下文。

实验结果

研究问题

• RQ1 能否通过将3D点云动态解耦为锐利（轮廓）与缓和（平坦）变化分量，提升几何表征学习能力？
• RQ2 与标准局部聚合相比，利用互补注意力机制融合这些解耦分量的特征，如何增强3D点云理解能力？
• RQ3 与现有模型相比，该方法在点密度变化、旋转与噪声方面的鲁棒性提升程度如何？
• RQ4 是否可以在不依赖预计算邻接矩阵的前提下学习到解耦的几何表征？动态学习是否能提升性能？
• RQ5 为解耦分量选择多少个点可在准确率与效率之间实现最佳平衡？

主要发现

• GDANet在ModelNet40分类任务上达到93.8%的准确率，超越先前最先进方法，且参数量较KPConv减少84.9%。
• 在(s/s)旋转增强设置下，模型准确率下降仅2.7%，优于第二好的方法，表明其具有更优的旋转鲁棒性。
• 在噪声ScanObjectNN基准测试中，GDANet从OBJ_ONLY到OBJ_BG的准确率下降最低，证实其具备优异的抗噪能力。
• GDM中动态邻接矩阵计算相比预计算版本提升0.8%准确率，表明端到端优化的优势。
• 在GDM中选择输入点的25%（即1024个点中的256个）时性能最佳，表明信息与冗余之间的最优权衡。
• 模型在所有点密度水平下均保持一致性能，展现出对采样变化的强鲁棒性。