[论文解读] DeepContext: Context-Encoding Neural Pathways for 3D Holistic Scene Understanding

Yinda Zhang, Mingru Bai+3 more|arXiv (Cornell University)|Mar 16, 2016

Human Pose and Action Recognition参考文献 43被引用 10

一句话总结

本文提出 DeepContext，一种3D卷积神经网络，通过可学习的场景模板编码整体场景上下文，以提升从单张深度图像进行3D整体场景理解的性能。通过将输入场景对齐到规范化的3D模板，并利用双路网络联合推理物体存在性与位置，该方法在SUN-RGBD数据集上实现了最先进性能，3D检测准确率与布局估计均优于先前方法，且可在单次前向传播中处理多个物体。

ABSTRACT

While deep neural networks have led to human-level performance on computer vision tasks, they have yet to demonstrate similar gains for holistic scene understanding. In particular, 3D context has been shown to be an extremely important cue for scene understanding - yet very little research has been done on integrating context information with deep models. This paper presents an approach to embed 3D context into the topology of a neural network trained to perform holistic scene understanding. Given a depth image depicting a 3D scene, our network aligns the observed scene with a predefined 3D scene template, and then reasons about the existence and location of each object within the scene template. In doing so, our model recognizes multiple objects in a single forward pass of a 3D convolutional neural network, capturing both global scene and local object information simultaneously. To create training data for this 3D network, we generate partly hallucinated depth images which are rendered by replacing real objects with a repository of CAD models of the same object category. Extensive experiments demonstrate the effectiveness of our algorithm compared to the state-of-the-arts. Source code and data are available at http://deepcontext.cs.princeton.edu.

研究动机与目标

• 为解决独立的自底向上与自顶向下场景理解流程的局限性，这些流程计算成本高且易受噪声影响。
• 通过在单一深度神经网络中整合全局上下文与局部外观，实现高效、端到端的3D场景理解。
• 通过使用CAD模型替换RGB-D场景中的真实物体，合成逼真的训练数据，以克服3D场景理解中的数据稀缺问题。
• 在无需手动定义空间先验的情况下，建模灵活的、数据驱动的物体间上下文关系。
• 仅使用深度输入实现鲁棒且高精度的3D物体检测与布局估计，优于同时使用颜色与深度的方法。

提出的方法

• 该方法使用场景模板——功能性室内区域（如睡眠、办公、休闲）的规范3D布局——来表示具有固定维度的场景上下文。
• 通过估计的旋转与平移，变换网络将输入深度图像对齐到最近似的场景模板，为上下文推理提供结构化初始化。
• 3D上下文神经网络通过两条并行路径处理对齐后的场景：一条整体场景路径用于全局上下文，一条物体路径使用3D区域感兴趣区（ROI）池化提取局部物体特征。
• 网络在单次前向传播中联合预测物体存在性（分类）与3D边界框回归（位置），同时利用局部与全局特征。
• 通过用同类别CAD模型替换SUN-RGBD场景中的真实物体，生成合成训练数据，保留场景布局与杂乱程度，同时改变物体外观。
• 模型在合成数据上进行预训练，并在真实数据上微调，从而实现在直接使用真实数据训练时无法收敛的训练目标。

实验结果

研究问题

• RQ1 深度神经网络能否有效编码3D场景上下文，从而在仅依赖局部外观线索之外，显著提升整体场景理解？
• RQ2 如何在固定架构的3D CNN中建模可变维度的场景表示（即物体数量未知）？
• RQ3 能否从数据中自动学习上下文关系，而非依赖于手动预定义的物体关系？
• RQ4 在真实数据有限的情况下，合成数据增强在3D场景理解中的泛化性能提升程度如何？
• RQ5 场景模板与双路特征学习的融合对检测准确率与布局估计的影响如何？

主要发现

• 所提方法在SUN-RGBD数据集上实现了71.02%的3D检测平均平均精度（mAP），显著优于先前最先进方法COG的66.93%。
• 经过优化后，布局估计误差降低高达50%：例如，睡眠区域的地板布局误差从初始的0.30m降至估计后的0.10m。
• 基于神经回归的变换网络优于基于ICP的点云对齐方法，在对称性条件下实现96.3%的旋转精度（无对称性ICP仅为75.6%）。
• 使用真实模板对齐相比估计对齐使mAP提升2.19%，而真实模板分类进一步使mAP提升1.52%。
• 在睡眠区域，模型实现100.0%的物体检测准确率，在休闲区域达到94.3%，表明在复杂布局中表现优异。
• 系统在真实世界场景中泛化良好，定性结果表明在杂乱环境中能准确检测与定位多个物体。