[论文解读] 3D Object Classification via Spherical Projections

Zhangjie Cao, Qixing Huang+1 more|arXiv (Cornell University)|Dec 12, 2017

3D Shape Modeling and Analysis参考文献 24被引用 3

一句话总结

本文提出了一种新颖的3D物体分类方法，通过球面投影结合基于图像和基于3D的深度学习的优势。通过将3D物体投影到其中心为质心的球面上，该方法实现了高分辨率特征学习和ImageNet上的预训练，同时通过两种互补的投影方式——深度变化和轮廓信息——捕捉全局跨视角依赖关系。该方法在ModelNet40和ShapeNetCore基准上达到了最先进性能。

ABSTRACT

In this paper, we introduce a new method for classifying 3D objects. Our main idea is to project a 3D object onto a spherical domain centered around its barycenter and develop neural network to classify the spherical projection. We introduce two complementary projections. The first captures depth variations of a 3D object, and the second captures contour-information viewed from different angles. Spherical projections combine key advantages of two main-stream 3D classification methods: image-based and 3D-based. Specifically, spherical projections are locally planar, allowing us to use massive image datasets (e.g, ImageNet) for pre-training. Also spherical projections are similar to voxel-based methods, as they encode complete information of a 3D object in a single neural network capturing dependencies across different views. Our novel network design can fully utilize these advantages. Experimental results on ModelNet40 and ShapeNetCore show that our method is superior to prior methods.

研究动机与目标

• 解决现有3D分类方法的局限性：基于3D的方法牺牲分辨率，基于图像的方法无法捕捉跨视角依赖关系。
• 利用基于图像方法的优势——高分辨率处理和ImageNet预训练——同时克服其视角依赖性和投影不连续的问题。
• 开发一种球面投影框架，以连续且全局一致的方式编码完整的3D形状信息。
• 设计一种神经网络架构，在球面投影的圆柱形补丁上执行卷积操作，从而可使用预训练的2D CNN。

提出的方法

• 将3D物体投影到以其中心为质心的球面域上，创建连续且全局一致的表示。
• 引入两种互补的球面投影：一种捕捉不同视角下的深度变化，另一种捕捉来自不同角度的轮廓信息。
• 在球面表面上定义圆柱形补丁，以支持标准的2D卷积操作，最小化补丁数量的同时保留跨视角依赖关系的捕捉能力。
• 使用预训练的ImageNet模型从球面投影中提取特征，实现迁移学习和高分辨率特征学习。
• 设计一种网络架构，通过共享或并行分支处理基于深度和基于轮廓的球面投影，以提升泛化能力。
• 采用合理的圆柱形补丁采样策略，在保持几何保真度和视角不变性的同时降低计算成本。

实验结果

研究问题

• RQ1 球面投影能否有效结合基于图像方法的高分辨率能力与基于3D方法的全局一致性，用于3D分类？
• RQ2 如何设计球面投影以在多个视角下同时保留深度和轮廓信息？
• RQ3 通过球面投影，预训练的2D CNN在ImageNet上能多大程度上被用于3D分类？
• RQ4 不同的投影分辨率和补丁采样策略如何影响分类准确率和计算效率？
• RQ5 所提出的方法能否在无需显式数据增强或姿态估计的情况下实现视角不变的分类？

主要发现

• 该方法在ModelNet40上达到90.49%的准确率，优于先前的最先进方法。
• 在ShapeNetCore上，该方法取得了87.54%的准确率，展现出在多样化3D物体类别上的强大泛化能力。
• 将深度投影分辨率从30°降低到15°和60°，准确率分别下降0.2%和0.5%，验证了使用30°分辨率以提升效率的合理性。
• 将轮廓投影网格从3×6增加到3×12，准确率提升约1.0%，但进一步增加到3×24仅带来不到0.2%的提升。
• 该方法对水平条带的仰角变化具有鲁棒性，当仰角超过60°后性能趋于稳定，此时失真降低了预训练模型的有效性。
• 单个3D物体的渲染和推理耗时约为1.0–1.3秒，训练时间在单张GPU上约为4–7小时，主要由投影生成阶段主导。