[论文解读] 3DTI-Net: Learn Inner Transform Invariant 3D Geometry Features using Dynamic GCN

Guanghua Pan, Jun Wang+2 more|arXiv (Cornell University)|Dec 15, 2018

3D Shape Modeling and Analysis参考文献 13被引用 13

一句话总结

3DTI-Net 是一种基于图卷积网络（GCN）的深度学习框架，通过动态图建模局部点相关性，学习对刚性变换（如旋转）不变的 3D 几何特征。该方法在旋转 3D 物体分类任务中达到最先进性能，在分割任务中也取得具有竞争力的结果，且无需数据增强或复杂预处理。通过使用空间局部化的图滤波器，实现了计算效率和对噪声及低点密度的鲁棒性。

ABSTRACT

Deep learning on point clouds has made a lot of progress recently. Many point cloud dedicated deep learning frameworks, such as PointNet and PointNet++, have shown advantages in accuracy and speed comparing to those using traditional 3D convolution algorithms. However, nearly all of these methods face a challenge, since the coordinates of the point cloud are decided by the coordinate system, they cannot handle the problem of 3D transform invariance properly. In this paper, we propose a general framework for point cloud learning. We achieve transform invariance by learning inner 3D geometry feature based on local graph representation, and propose a feature extraction network based on graph convolution network. Through experiments on classification and segmentation tasks, our method achieves state-of-the-art performance in rotated 3D object classification, and achieve competitive performance with the state-of-the-art in classification and segmentation tasks with fixed coordinate value.

研究动机与目标

• 为解决点云深度学习中 3D 变换不变性（特别是旋转不变性）的挑战，该挑战限制了模型在不同朝向下的泛化能力。
• 从点之间的相关性中学习内在的 3D 几何特征，而非依赖绝对坐标，从而提升对坐标系变化的鲁棒性。
• 开发一种通用的、端到端的深度学习框架，可直接处理原始点云，无需预处理、预训练或数据增强。
• 在噪声大、点密度低及点云旋转等条件下，实现分类与分割任务的高效率与高鲁棒性。

提出的方法

• 采用局部 K-近邻方法构建点云的图表示，以编码空间关系与局部几何结构。
• 提出一种动态图更新策略，基于学习到的特征空间距离重新计算邻域关系，实现多分辨率特征学习。
• 采用多阶段 GCN 架构，感受野逐步扩大：首先使用 K=200 个邻居，随后增加至 K=1000，最终采用全连接图实现全局信息整合。
• 设计一种变换不变的特征池化机制，通过聚焦于相对点关系而非绝对位置，保持几何不变性。
• 使用可学习的图卷积层，其滤波器具有空间局部性，聚合 K-跳邻居的特征，确保局部不变性与空间一致性。
• 在原始点云（含坐标与法线）上进行端到端训练，避免体素化或多视角渲染。

实验结果

研究问题

• RQ1 深度学习模型能否在不依赖数据增强的前提下，学习到对刚性变换（特别是旋转）不变的 3D 几何特征？
• RQ2 如何有效利用图卷积网络建模并学习点之间的内在几何关系？
• RQ3 基于学习到的特征动态调整邻域结构的图更新策略，能否提升特征表示能力？
• RQ4 与逐点或全局池化方法相比，基于空间局部滤波器的 GCN 架构在 3D 点云任务中是否能实现更优的性能与鲁棒性？
• RQ5 在仅使用原始点云训练的前提下，模型在保持低计算成本与参数量的同时，能否在分类与分割任务中实现最先进性能？

主要发现

• 在标准评估设置（无旋转）下的 ModelNet40 数据集上，3DTI-Net 整体准确率达到 91.7%，优于 PointNet 与 PointNet++，且参数更少、推理时间更短。
• 在仅 256 个点的条件下，模型仍保持 88.3% 的准确率，表明其对低点密度具有显著鲁棒性，优于 PointNet。
• 在 ShapeNet 分割任务中，3DTI-Net 达到 84.9% 的 mIoU，与 PointNet、PointNet++ 和 DGCNN 相当或更优，且在参数效率方面表现更优。
• 模型对高斯噪声表现出强鲁棒性，在 σ=0.1 的噪声水平下仍保持高准确率，表明其在真实世界噪声数据中的稳定性。
• 在 $SO(3)$-不变性评估（旋转测试）中，3DTI-Net 保持一致的性能表现，而其他方法出现显著下降，证明其具备内在的旋转不变性。
• 动态图更新策略显著提升了特征表示能力，支持多分辨率学习，并增强了对复杂局部几何结构的建模能力。