[论文解读] A survey of Object Classification and Detection based on 2D/3D data

Xiaoke Shen|arXiv (Cornell University)|May 29, 2019

Advanced Neural Network Applications参考文献 69被引用 19

一句话总结

本综述全面概述了二维与三维目标分类和检测方法，强调了从基于二维图像的系统向使用点云、体素和多视角表示的三维方法的转变。它突出了三维数据的挑战，如稀疏性、高计算成本以及标注数据集有限等问题，并评估了如Frustum PointNet等框架，这些框架结合了二维检测与点云处理，在KITTI基准上实现了最先进性能，其中汽车的3D平均精度（AP）达到70.39。

ABSTRACT

Recently, by using deep neural network based algorithms, object classification, detection and semantic segmentation solutions are significantly improved. However, one challenge for 2D image-based systems is that they cannot provide accurate 3D location information. This is critical for location sensitive applications such as autonomous driving and robot navigation. On the other hand, 3D methods, such as RGB-D and RGB-LiDAR based systems, can provide solutions that significantly improve the RGB only approaches. That is why this is an interesting research area for both industry and academia. Compared with 2D image-based systems, 3D-based systems are more complicated due to the following five reasons: 1) Data representation itself is more complicated. 3D images can be represented by point clouds, meshes, volumes. 2D images have pixel grid representations. 2) The computation and memory resource requirement is higher as an extra dimension is added. 3) Different distribution of the objects and difference in scene areas between indoor and outdoor make one unified framework hard to achieve. 4) 3D data, especially for the outdoor scenario, is sparse compared with the dense 2D images which makes the detection task more challenging. Finally, large size labelled datasets, which are extremely important for supervised based algorithms, are still under construction compared with well-built 2D datasets such as ImageNet. Based on challenges listed above, the described systems are organized by application scenarios, data representation methods and main tasks addressed. At the same time, critical 2D based systems which greatly influence the 3D ones are also introduced to show the connection between them.

研究动机与目标

• 提供计算机视觉中二维与三维目标分类和检测技术的系统性综述。
• 分析基于三维的系统所特有的挑战，包括数据稀疏性、计算复杂度以及大规模标注数据集的缺乏。
• 比较不同三维数据表示方式——点云、体素、多视角图像和深度投影——及其优势与局限性。
• 研究结合二维检测实现三维目标定位的混合二维-三维框架，例如Frustum PointNet。
• 在标准基准（如KITTI）上评估领先模型的性能，重点关注3D平均精度（AP）指标。

提出的方法

• 本综述按应用场景、数据表示方式（如点云、体素、多视角图像）以及核心任务（分类、检测、分割）组织现有方法。
• 回顾基础的二维方法，包括AlexNet、VGG和ResNet，这些方法通过迁移学习和特征提取为现代三维方法奠定了基础。
• 针对三维检测，本文分析了如Frustum PointNet等混合框架，其首先使用二维卷积神经网络（CNN）在RGB图像中检测目标，然后将二维区域提升为三维棱锥体。
• 在每个三维棱锥体内，基于PointNet的网络执行点级别的二值分类以分割目标点，随后进行质心对齐和三维边界框回归。
• 该方法利用二维目标检测的置信度和几何信息，提升了在稀疏户外场景中的三维检测精度。
• 性能通过标准指标（如KITTI基准上的3D平均精度（AP））进行评估，结果按目标类别（汽车、行人、自行车骑行者）报告。

实验结果

研究问题

• RQ1 基于二维的深度学习模型（如AlexNet和VGG）如何促进三维目标检测系统的发展？
• RQ2 与二维相比，三维目标检测面临的关键挑战是什么，特别是在数据表示、稀疏性和计算成本方面？
• RQ3 混合二维-三维框架（如Frustum PointNet）如何通过利用二维检测置信度和三维几何信息来提升三维检测性能？
• RQ4 点云、体素、多视角图像和深度投影等不同三维数据表示方式在分类与检测任务中的相对优缺点是什么？
• RQ5 当前的三维检测模型在多大程度上实现了与二维模型相当的性能？在KITTI等基准上的关键性能差距是什么？

主要发现

• 在KITTI验证集上，Frustum PointNet在汽车类别上实现了70.39的3D平均精度（AP），行人类别为44.89，自行车骑行者类别为56.77，表明其在真实自动驾驶场景中表现出色。
• 基于二维的模型（如AlexNet和VGG）通过支持迁移学习和特征提取，为现代三维检测奠定了基础，显著提升了三维任务的性能。
• 基于点云的方法比体素或多视角表示更能保持三维几何结构，但需要像PointNet这样的专用网络来处理不规则且稀疏的数据结构。
• 基于体素的三维CNN存在高计算复杂度（O(n³)）和分辨率低的问题，限制了其捕捉细微形状细节的能力。
• 多视角和深度投影方法受益于成熟的二维CNN，但会损失几何保真度，且受限于遮挡和视图不完整的问题。
• 缺乏大规模、完全标注的三维数据集仍是主要瓶颈，尤其与二维任务中成熟的ImageNet数据集相比。