[论文解读] Deep Supervision with Intermediate Concepts

Chi Li, M. Zeeshan Zia+4 more|arXiv (Cornell University)|Jan 8, 2018

Advanced Vision and Imaging被引用 4

一句话总结

本文提出DISCO，一种深度监督框架，通过将中间概念（如物体位姿和部件可见性）注入卷积神经网络的隐藏层，以提升2D/3D关键点定位与图像分类任务中的泛化能力。该方法仅使用带有中间概念标注的合成CAD渲染图像进行训练，在KITTI、PASCAL VOC、PASCAL3D+、IKEA和CIFAR100等真实世界基准上实现了最先进性能，优于单任务和多任务学习基线。

ABSTRACT

Recent data-driven approaches to scene interpretation predominantly pose inference as an end-to-end black-box mapping, commonly performed by a Convolutional Neural Network (CNN). However, decades of work on perceptual organization in both human and machine vision suggests that there are often intermediate representations that are intrinsic to an inference task, and which provide essential structure to improve generalization. In this work, we explore an approach for injecting prior domain structure into neural network training by supervising hidden layers of a CNN with intermediate concepts that normally are not observed in practice. We formulate a probabilistic framework which formalizes these notions and predicts improved generalization via this deep supervision method. One advantage of this approach is that we are able to train only from synthetic CAD renderings of cluttered scenes, where concept values can be extracted, but apply the results to real images. Our implementation achieves the state-of-the-art performance of 2D/3D keypoint localization and image classification on real image benchmarks, including KITTI, PASCAL VOC, PASCAL3D+, IKEA, and CIFAR100. We provide additional evidence that our approach outperforms alternative forms of supervision, such as multi-task networks.

研究动机与目标

• 通过利用带有结构化中间概念的合成数据，解决真实世界数据集中缺乏3D标注的问题。
• 通过嵌入感知结构的中间概念，受人类视觉推理启发，提升深度学习的泛化能力。
• 开发一种通用的深度监督框架，优于标准端到端训练和多任务学习方法。
• 仅使用合成训练数据，实现对遮挡和类内变化下鲁棒的3D几何估计。
• 将方法扩展至细粒度图像分类任务，证明其在3D结构预测之外的更广泛应用潜力。

提出的方法

• 该方法提出一种概率框架，将中间概念形式化为分层的、与任务相关的监督信号，以正则化特征学习。
• 设计了一种新颖的CNN架构DISCO，在网络不同深度设置多个监督头，每个头针对不同的中间概念，如物体位姿或部件可见性。
• 从3D CAD模型生成合成训练数据，通过控制遮挡情况，提升对真实世界挑战（如部分视图模糊）的鲁棒性。
• 使用多任务损失函数联合监督多个网络层的中间概念，鼓励结构化特征学习。
• 通过直接回归到3D结构，避免依赖2D关键点预测，减少中间阶段的误差传播。
• 通过将粗粒度类别标签作为中间概念，将方法推广至图像分类任务，以提升细粒度识别性能。

实验结果

研究问题

• RQ1 当仅使用合成数据进行训练时，使用中间概念的深度监督能否提升3D物体几何估计的泛化能力？
• RQ2 与端到端训练和多任务学习相比，使用中间概念的深度监督在性能和鲁棒性方面表现如何？
• RQ3 如物体位姿和部件可见性等中间概念能否在遮挡和类内变化下提升3D关键点定位性能？
• RQ4 使用中间概念是否能提升在CIFAR100等基准上的细粒度图像分类性能？
• RQ5 该框架能否扩展至在单个模型中联合建模多个物体类别之间的3D几何结构？

主要发现

• DISCO在多个基准（包括KITTI-3D、PASCAL VOC、PASCAL3D+和IKEA）上实现了2D/3D关键点定位的最先进性能，即使仅在合成CAD渲染图像上进行训练也表现优异。
• 该方法显著优于单任务和多任务学习基线，尤其在处理遮挡和截断问题时表现突出，验证了中间概念监督的有效性。
• 在CIFAR100数据集上，将粗粒度类别标签作为中间概念可提升细粒度识别性能，验证了该方法的更广泛应用潜力。
• 定性结果表明，DISCO在涉及多个物体的复杂遮挡场景中，仍能准确预测3D物体骨架、可见性状态和实例分割结果。
• 在IKEA数据集上，DISCO优于3D-INN，能正确捕捉如倾斜椅背和扶手等结构细节，并对床腿的尺度估计更准确。
• 该框架可泛化至新物体类别（如床和沙发），表明其在3D场景理解方面具有作为通用方法的潜力。