[论文解读] 3D ShapeNets for 2.5D Object Recognition and Next-Best-View Prediction

Zhirong Wu, Shuran Song+3 more|arXiv (Cornell University)|Jun 22, 2014

Advanced Vision and Imaging参考文献 21被引用 93

一句话总结

该论文提出了一种基于卷积深度置信网络的3D ShapeNet模型，将3D形状表示为3D体素网格上概率分布，从而实现对2.5D物体识别的鲁棒性以及智能的下一最佳视角预测。该方法通过在大规模3D图形数据集上训练所学习的形状表征，实现了更高的识别准确率和不确定性降低。

ABSTRACT

3D shape is a crucial but heavily underutilized cue in object recognition, mostly due to the lack of a good generic shape representation. With the recent boost of inexpensive 2.5D depth sensors (e.g. Microsoft Kinect), it is even more urgent to have a useful 3D shape model in an object recognition pipeline. Furthermore, when the recognition has low confidence, it is important to have a fail-safe mode for object recognition systems to intelligently choose the best view to obtain extra observation from another viewpoint, in order to reduce the uncertainty as much as possible. To this end, we propose to represent a geometric 3D shape as a probabil-ity distribution of binary variables on a 3D voxel grid, using a Convolutional Deep Belief Network. Our model naturally supports object recognition from 2.5D depth map and also view planning for object recognition. We construct a large-scale 3D computer graphics dataset to train our model, and conduct extensive experiments to study this new representation. 1

研究动机与目标

• 开发一种通用的3D形状表征方法，有效捕捉几何结构以支持物体识别。
• 通过实现智能的下一最佳视角选择以减少不确定性，解决低置信度物体识别的挑战。
• 利用如Microsoft Kinect等传感器获取的2.5D深度数据，实现面向实际、实时识别应用的可行性。
• 创建一种可扩展、可学习的形状表征，同时支持识别与主动感知。
• 在大规模3D计算机图形数据集上进行模型训练与评估，以实现鲁棒性能。

提出的方法

• 将3D形状表示为3D体素网格上二值变量的概率分布，以编码几何结构。
• 使用卷积深度置信网络（CDBN）从体素化形状表征中学习分层的生成特征。
• 在大规模3D图形数据集上端到端训练CDBN，以捕捉形状先验并提升识别性能。
• 通过将深度图作为网络输入，将学习到的模型适配于2.5D物体识别。
• 在识别流程中集成不确定性估计，以指导下一最佳视角规划。
• 通过最大化基于模型不确定性的期望信息增益来选择下一最佳视角。

实验结果

研究问题

• RQ1 深度生成模型是否能通过基于体素的二值概率分布有效表征3D形状？
• RQ2 与基线方法相比，所提出的3D ShapeNet模型在2.5D物体识别中的表现如何？
• RQ3 通过智能的下一最佳视角选择，该模型在多大程度上能够减少识别不确定性？
• RQ4 所学习的形状表征在不同3D物体类别中的可扩展性和泛化能力如何？
• RQ5 3D形状表征对主动感知和不确定性减少有何影响？

主要发现

• 所提出的3D ShapeNet模型在2.5D深度图上的识别准确率高于使用传统形状描述符的基线方法。
• 通过基于学习到的不确定性估计选择信息丰富的下一最佳视角，该模型能有效降低物体识别的不确定性。
• 使用生成式深度置信网络可从原始体素表征中鲁棒地学习特征，无需人工特征工程。
• 用于训练的大规模3D图形数据集支持在多样化物体类别间的泛化能力。
• 通过视角规划实现的主动感知显著提升了低置信度场景下的识别可靠性。
• 该方法在统一的3D形状表征下，于识别和视角规划任务中均表现出优异性能。