[论文解读] Iterative Transformer Network for 3D Point Cloud

Wentao Yuan, David Held+2 more|arXiv (Cornell University)|Nov 27, 2018

3D Shape Modeling and Analysis参考文献 32被引用 38

一句话总结

本文提出了一种新型三维点云变换器——迭代变换器网络（IT-Net），通过迭代预测刚性变换来规范化部分且未对齐的点云。通过逐步优化姿态估计并强制执行仅含旋转和平移的刚性变换，IT-Net在形状分类和部件分割任务上相比基线变换器（如T-Net）表现出更优性能，尤其在存在遮挡和任意朝向的现实世界复杂数据上优势显著。

ABSTRACT

3D point cloud is an efficient and flexible representation of 3D structures. Recently, neural networks operating on point clouds have shown superior performance on 3D understanding tasks such as shape classification and part segmentation. However, performance on such tasks is evaluated on complete shapes aligned in a canonical frame, while real world 3D data are partial and unaligned. A key challenge in learning from partial, unaligned point cloud data is to learn features that are invariant or equivariant with respect to geometric transformations. To address this challenge, we propose the Iterative Transformer Network (IT-Net), a network module that canonicalizes the pose of a partial object with a series of 3D rigid transformations predicted in an iterative fashion. We demonstrate the efficacy of IT-Net as an anytime pose estimator from partial point clouds without using complete object models. Further, we show that IT-Net achieves superior performance over alternative 3D transformer networks on various tasks, such as partial shape classification and object part segmentation.

研究动机与目标

• 为解决现实场景中常见的部分且未对齐三维点云学习挑战。
• 开发一种在刚性变换下具备几何不变性或等变性的神经网络模块，以提升三维理解任务性能。
• 设计一种姿态估计系统，通过迭代优化变换估计实现任意时刻预测。
• 在输入不完整且未对齐的情况下，超越现有基于变换器的方法（如T-Net）在形状分类与部件分割任务上的表现。
• 引入一个包含合成与真实世界部分且未对齐点云的新基准数据集，用于三维学习任务。

提出的方法

• IT-Net采用迭代优化机制，预测一系列微小的刚性变换（旋转与平移），逐步将输入点云对齐至标准姿态。
• 每次迭代由基于变换器的模块预测三维刚性变换，确保不引入缩放或剪切，从而保持物体形状不变。
• 网络端到端训练，配备分类或分割头，对变换输出无显式监督。
• 迭代设计支持任意时刻预测：当计算预算有限时，可提前终止推理，且姿态估计质量随迭代逐步提升。
• 该方法可作为即插即用模块集成至PointNet和DGCNN等现有架构中，增强其对几何变化的鲁棒性。
• 从CAD模型（ModelNet、ShapeNet）的虚拟扫描和真实扫描（ScanNet）中构建新数据集，包含任意旋转、平移及逼真的自遮挡。

实验结果

研究问题

• RQ1 对部分且未对齐输入的三维点云理解，迭代优化刚性变换是否能提升性能？
• RQ2 与仿射变换相比，强制执行刚性变换（仅旋转和平移）是否能在分类与分割等下游任务中带来更好的性能与稳定性？
• RQ3 IT-Net能否作为任意时刻姿态估计器，在时间受限条件下提供逐步优化的预测？
• RQ4 在真实世界与合成的部分点云上，IT-Net与T-Net及其他基于变换器的方法相比，在鲁棒性与准确性方面表现如何？
• RQ5 IT-Net在集成至现有分类与分割网络时，性能提升程度如何？

主要发现

• IT-Net在ShapeNet Part数据集上使用两次迭代，部件分割的平均mIoU达到80.4%，优于T-Net（74.6%）和IT-Net-1（77.9%）。
• 在形状分类任务中，IT-Net-2在ShapeNet数据集上达到79.1%的准确率，超过T-Net（77.1%）和IT-Net-1（78.2%）。
• IT-Net的性能提升在训练样本较少的稀有类别上最为显著，表明其在数据稀缺条件下具备更强的泛化能力。
• T-Net在采用迭代优化训练时因各次迭代间尺度不一致而无法收敛，而IT-Net保持训练稳定与性能一致。
• 定性结果表明，IT-Net能成功对齐不同类别与姿态的输入，减少分布偏移，提升特征学习效果。
• IT-Net的迭代特性使其支持任意时刻预测：中间输出即可提供可用的姿态估计，适用于实时应用。