[论文解读] Geometric Capsule Autoencoders for 3D Point Clouds

Nitish Srivastava, Hanlin Goh+1 more|arXiv (Cornell University)|Dec 6, 2019

3D Shape Modeling and Analysis参考文献 21被引用 14

一句话总结

本文提出几何胶囊自编码器用于3D点云，利用姿态不变的几何胶囊以无监督方式学习分层、可解释的物体部件与整体物体表示。关键创新在于多视角一致投票机制，实现规范姿态发现与姿态不变特征学习，在ModelNet40和ShapeNet的旋转物体上实现了94.3%的top-1检索准确率。

ABSTRACT

We propose a method to learn object representations from 3D point clouds using bundles of geometrically interpretable hidden units, which we call geometric capsules. Each geometric capsule represents a visual entity, such as an object or a part, and consists of two components: a pose and a feature. The pose encodes where the entity is, while the feature encodes what it is. We use these capsules to construct a Geometric Capsule Autoencoder that learns to group 3D points into parts (small local surfaces), and these parts into the whole object, in an unsupervised manner. Our novel Multi-View Agreement voting mechanism is used to discover an object's canonical pose and its pose-invariant feature vector. Using the ShapeNet and ModelNet40 datasets, we analyze the properties of the learned representations and show the benefits of having multiple votes agree. We perform alignment and retrieval of arbitrarily rotated objects -- tasks that evaluate our model's object identification and canonical pose recovery capabilities -- and obtained insightful results.

研究动机与目标

• 以无监督方式从3D点云中学习可解释、具有几何意义的物体表征。
• 在无监督条件下发现规范物体姿态与姿态不变的特征向量。
• 利用离散计算单元（几何胶囊）建模部件与整体物体之间的分层关系。
• 通过来自整体物体胶囊的自顶向下引导，缓解部件级解释的歧义性。
• 通过对齐与检索任务评估模型在物体旋转下的鲁棒性。

提出的方法

• 每个几何胶囊使用6自由度姿态（位置与方向）编码视觉实体，并用特征向量表示形状与身份。
• 模型采用PointsToParts自编码器将3D点分组为局部表面部件，每个部件由具有姿态与特征的胶囊表示。
• 提出一种新颖的多视角一致机制，通过多视角投票推断整体物体的规范姿态与不变特征。
• PartsToObject层利用整体物体胶囊的自顶向下注意力引导部件胶囊路由，实现输入与输出部件分解的解耦。
• 模型通过重建损失与路由机制端到端训练，路由机制鼓励多视角间的一致性。
• 使用四元数表示3D旋转，确保几何可解释性并约束为有效旋转。

实验结果

研究问题

• RQ1 深度学习模型能否完全无监督地从3D点云中学习到规范物体姿态与姿态不变的特征表示？
• RQ2 多视角一致机制在不同视角间发现一致物体级表征方面有多高效？
• RQ3 所学表征在多大程度上实现对物体旋转的不变性，以及对部件级姿态变化的等变性？
• RQ4 几何胶囊在从原始点云中学习局部有意义部件方面，与现有架构相比表现如何？
• RQ5 该模型在任意旋转条件下能否泛化到物体检索与对齐任务？

主要发现

• 模型在ModelNet40和ShapeNet的旋转物体上实现了94.3%的top-1检索准确率与95.9%的top-10准确率，表明其具备强大的姿态不变表征学习能力。
• 1-NN分类准确率达96.0%，表明即使在随机旋转后，模型仍能一致地检索到正确的物体实例。
• 当使用PartsToObject层时，模型对物体旋转表现出高度鲁棒性，但若仅使用部件胶囊，性能显著下降，表明完整自编码器架构的重要性。
• 可视化结果表明，部件胶囊能学习检测局部、平滑的表面区域，且相比3DCapsNet等先前方法更局部化，这得益于显式的姿态-特征分离。
• 模型的规范姿态发现并非完全唯一，但多视角一致机制显著提升了多视角间的一致性与鲁棒性。
• 在点旋转设置下，1-NN分类准确率为44%，表明尽管精确实例匹配失败，但类别级泛化能力仍被保留。