[论文解读] Deep Supervision with Shape Concepts for Occlusion-Aware 3D Object Parsing

Chi Li, M. Zeeshan Zia+4 more|arXiv (Cornell University)|Dec 8, 2016

Advanced Neural Network Applications参考文献 39被引用 9

一句话总结

本文提出DISCO，一种深度卷积神经网络框架，利用合成的3D CAD渲染数据，通过形状概念（如姿态、关键点位置和可见性）深度监督中间层，从而实现从单张RGB图像中准确进行2D/3D语义部件定位与遮挡推理。该方法在KITTI-3D、PASCAL VOC、PASCAL3D+和IKEA等真实世界基准上达到最先进性能，无需逼真渲染即可有效从合成数据泛化到真实数据。

ABSTRACT

Monocular 3D object parsing is highly desirable in various scenarios including occlusion reasoning and holistic scene interpretation. We present a deep convolutional neural network (CNN) architecture to localize semantic parts in 2D image and 3D space while inferring their visibility states, given a single RGB image. Our key insight is to exploit domain knowledge to regularize the network by deeply supervising its hidden layers, in order to sequentially infer intermediate concepts associated with the final task. To acquire training data in desired quantities with ground truth 3D shape and relevant concepts, we render 3D object CAD models to generate large-scale synthetic data and simulate challenging occlusion configurations between objects. We train the network only on synthetic data and demonstrate state-of-the-art performances on real image benchmarks including an extended version of KITTI, PASCAL VOC, PASCAL3D+ and IKEA for 2D and 3D keypoint localization and instance segmentation. The empirical results substantiate the utility of our deep supervision scheme by demonstrating effective transfer of knowledge from synthetic data to real images, resulting in less overfitting compared to standard end-to-end training.

研究动机与目标

• 通过中间形状概念的深度监督，提升在遮挡和外观变化下的3D物体解析性能。
• 实现在单张RGB图像上鲁棒的2D/3D语义部件定位与可见性推理。
• 通过利用领域特定的形状先验，减少过拟合并提升从合成数据到真实图像的泛化能力。
• 证明中间形状概念（如姿态、可见性）可作为深度卷积神经网络中的有效监督信号。
• 建立一个可泛化的框架，实现跨多个物体类别的联合3D几何学习。

提出的方法

• 该方法采用一种新颖的CNN架构DISCO，通过物体姿态、2D/3D关键点位置和部件可见性等中间形状概念，对多个卷积层进行深度监督。
• 采用3D骨骼表示来建模物体结构，其中语义部件被定义为通过结构连接的3D关键点。
• 通过控制遮挡配置渲染3D CAD模型，生成合成训练数据，从而实现对中间概念的完整监督。
• 网络仅在合成数据上端到端训练，监督信号在多个深度注入，以促进层次化特征学习。
• 深度监督框架在真实图像上泛化良好，优于单任务和顶层多任务基线方法。
• 该方法避免依赖逼真渲染，转而关注几何与结构一致性，以实现更强的泛化能力。

实验结果

研究问题

• RQ1 使用中间形状概念进行深度监督，能否提升在遮挡和外观变化下的3D物体解析性能？
• RQ2 在具有丰富形状概念监督的合成数据上进行训练，能否有效泛化到真实世界图像？
• RQ3 与顶层监督相比，中间特征的深度监督在多任务学习中的3D解析任务中表现如何？
• RQ4 能否通过单一CNN在无需显式类别特定设计的情况下，联合建模多种物体类别的3D几何结构？
• RQ5 姿态和可见性等形状概念在多大程度上能增强对截断和部分遮挡的鲁棒性？

主要发现

• DISCO在KITTI-3D、PASCAL VOC、PASCAL3D+和IKEA等多个基准上，均在2D和3D关键点定位任务中达到最先进性能。
• 在IKEA数据集上，DISCO在PCK@0.1准确率上显著优于3D-INN，表明其从原始图像中预测3D结构的能力更优。
• 尽管训练数据缺乏逼真性，DISCO仍能有效泛化到真实图像，相比标准端到端训练，过拟合现象更少。
• DISCO的可见性推理结果总体准确，即使在复杂的多物体遮挡场景中也能正确识别被遮挡的部件。
• 定性结果表明，DISCO在严重遮挡和截断条件下仍能成功定位2D/3D关键点并预测可见性，优于3D-INN，尤其在捕捉扶手等细粒度结构方面表现更佳。
• 在椅子类别上的平均召回率上，DISCO优于3D-INN，表明其在3D形状估计上更准确，尽管存在少数错误预测。