[论文解读] Multi-Resolution 3D Convolutional Neural Networks for Object Recognition

Sambit Ghadai, Xian Yeow Lee+3 more|arXiv (Cornell University)|May 30, 2018

3D Shape Modeling and Analysis参考文献 6被引用 9

一句话总结

该论文提出了一种使用分层体素表示的多分辨率3D卷积神经网络，通过结合粗粒度和细粒度网格，从3D数据中高效学习高分辨率特征。通过聚焦粗网格中的边界体素，并利用局部细网格进行细化，该方法在不依赖均匀网格或复杂八叉树结构的情况下，实现了内存效率提升和特征捕获性能的改进，从而实现了从稀疏数据中有效进行3D物体识别。

ABSTRACT

Learning from 3D Data is a fascinating idea which is well explored and studied in computer vision. This allows one to learn from very sparse LiDAR data, point cloud data as well as 3D objects in terms of CAD models and surfaces etc. Most of the approaches to learn from such data are limited to uniform 3D volume occupancy grids or octree representations. A major challenge in learning from 3D data is that one needs to define a proper resolution to represent it in a voxel grid and this becomes a bottleneck for the learning algorithms. Specifically, while we focus on learning from 3D data, a fine resolution is very important to capture key features in the object and at the same time the data becomes sparser as the resolution becomes finer. There are numerous applications in computer vision where a multi-resolution representation is used instead of a uniform grid representation in order to make the applications memory efficient. Though such methods are difficult to learn from, they are much more efficient in representing 3D data. In this paper, we explore the challenges in learning from such data representation. In particular, we use a multi-level voxel representation where we define a coarse voxel grid that contains information of important voxels(boundary voxels) and multiple fine voxel grids corresponding to each significant voxel of the coarse grid. A multi-level voxel representation can capture important features in the 3D data in a memory efficient way in comparison to an octree representation. Consequently, learning from a 3D object with high resolution, which is paramount in feature recognition, is made efficient.

研究动机与目标

• 通过用多级表示替代均匀体素网格，解决3D深度学习中的内存与分辨率权衡问题。
• 通过在关键位置（如物体边界）捕捉细粒度细节，提升3D数据的特征学习能力。
• 在不承受全高分辨率网格计算负担的前提下，实现从稀疏3D数据（如LiDAR和CAD模型）中高效学习。
• 通过采用更具结构化和可学习的多分辨率体素层次结构，克服基于八叉树方法的局限性。

提出的方法

• 该方法使用粗粒度体素网格识别关键区域，特别是边界体素，随后通过多个局部细粒度体素网格对这些区域进行细化。
• 粗网格中的每个显著体素均关联一个更高分辨率的网格，从而实现在局部区域的高精度特征提取。
• 网络首先处理粗网格，然后对显著区域对应的细网格应用3D卷积，实现分层特征学习。
• 通过拼接或跳跃连接整合多分辨率特征，保留跨尺度的空间上下文信息。
• 该方法避免使用均匀网格表示，从而在保持所需高分辨率细节的同时降低内存占用。
• 模型使用标准3D CNN损失函数进行训练，并在所有分辨率层级上实现端到端优化。

实验结果

研究问题

• RQ1 3D卷积网络如何在避免过度内存消耗的前提下，高效学习高分辨率3D数据？
• RQ2 分层体素表示是否能在捕捉显著3D特征以用于物体识别方面优于均匀网格或八叉树？
• RQ3 与全分辨率处理相比，在粗网格中聚焦边界体素在多大程度上能提升特征学习效果？
• RQ4 在粗网格与细网格之间进行多级特征学习，对稀疏3D数据的识别准确率有何影响？
• RQ5 非均匀、自适应分辨率策略在降低计算成本的同时，能否维持性能表现？

主要发现

• 所提出的多分辨率方法通过将计算资源集中于显著区域（如物体边界），实现了更优的特征表示。
• 与全高分辨率体素网格相比，该方法显著降低了内存消耗，同时保留了关键的结构细节。
• 通过在关键体素上使用局部细网格，网络在捕捉细粒度特征方面优于均匀网格基线方法。
• 分层体素结构使网络能够高效学习稀疏3D数据（如LiDAR和点云）中的信息，同时不损失识别准确率。
• 通过多尺度处理结合粗粒度上下文与细粒度细节，该模型在3D物体识别任务中表现出更优性能。