[论文解读] Learning Deep Object Detectors from 3D Models

Xingchao Peng, Baochen Sun+2 more|arXiv (Cornell University)|Dec 22, 2014

Advanced Neural Network Applications参考文献 24被引用 25

一句话总结

本文提出使用从免费获取的3D CAD模型生成的合成图像来训练深度目标检测器，证明在这些合成图像上进行微调能显著提升少样本和域偏移场景下的性能。该方法通过利用从合成数据中学到的线索不变特征，在PASCAL VOC2007和Office基准上取得了最先进结果，即使在缺少或简化了纹理和背景等低级线索的情况下亦然。

ABSTRACT

Crowdsourced 3D CAD models are becoming easily accessible online, and can potentially generate an infinite number of training images for almost any object category.We show that augmenting the training data of contemporary Deep Convolutional Neural Net (DCNN) models with such synthetic data can be effective, especially when real training data is limited or not well matched to the target domain. Most freely available CAD models capture 3D shape but are often missing other low level cues, such as realistic object texture, pose, or background. In a detailed analysis, we use synthetic CAD-rendered images to probe the ability of DCNN to learn without these cues, with surprising findings. In particular, we show that when the DCNN is fine-tuned on the target detection task, it exhibits a large degree of invariance to missing low-level cues, but, when pretrained on generic ImageNet classification, it learns better when the low-level cues are simulated. We show that our synthetic DCNN training approach significantly outperforms previous methods on the PASCAL VOC2007 dataset when learning in the few-shot scenario and improves performance in a domain shift scenario on the Office benchmark.

研究动机与目标

• 为解决目标检测中新型物体类别缺乏真实世界标注训练数据的挑战。
• 探究深度CNN是否能从缺乏真实纹理、姿态和背景的3D CAD模型生成的合成2D图像中学习到鲁棒的目标检测器。
• 通过利用合成数据增强，提升目标检测在少样本和域偏移场景下的泛化能力。
• 量化深度特征对缺失低级线索（如纹理、颜色、姿态和上下文）的不变性。
• 开发一种可扩展的方法，以极少量人工标注训练新类别的检测器。

提出的方法

• 使用渲染流水线改变姿态、光照和背景，从免费获取的3D CAD模型生成合成2D训练图像。
• 该方法评估两种合成数据生成设置：V-GRAY（均匀灰色纹理，白色背景）和V-TX（来自真实图像的真实纹理，白色背景）。
• 使用区域提议网络和R-CNN风格训练，对深度CNN（VCNN）在合成数据上进行微调以实现目标检测。
• 该方法使用选择性搜索生成区域提议，并在合成图像上微调网络以改善特征泛化能力。
• 在域偏移场景中，使用目标域的真实纹理生成合成数据，以模拟特定域的线索。
• 在PASCAL VOC2007（少样本）和Office数据集（域偏移）上评估性能，与真实数据基线及先前的合成方法进行比较。

实验结果

研究问题

• RQ1 深度CNN能否从缺乏真实纹理和背景的3D CAD模型生成的合成2D图像中学习到鲁棒的目标检测器？
• RQ2 深度特征对缺失的低级线索（如颜色、纹理、3D姿态和场景上下文）有多大的不变性？
• RQ3 在少样本和域偏移场景中，与在真实数据上微调相比，在合成数据上微调是否能提升性能？
• RQ4 从合成数据中学到的不变性是否可迁移至真实世界检测任务？
• RQ5 在合成数据中模拟低级线索（如真实纹理）是否能提升检测器性能，相比使用非照片级真实的渲染？

主要发现

• 在仅使用简化线索（如均匀灰色纹理）的合成CAD渲染图像上对预训练DCNN进行微调，可实现强大的检测性能，即使缺乏真实纹理或背景。
• 在PASCAL VOC2007数据集上，该方法在每类仅使用10张真实图像的情况下达到31% mAP，优于仅使用真实数据和先前合成方法的基线。
• 在Office基准的域偏移场景中，当在Webcam图像上训练并在Amazon域上测试时，该方法达到46.25% mAP，显著优于仅在真实Webcam数据上训练的检测器（38.91% mAP）。
• V-TX设置（使用真实纹理）优于V-GRAY设置（均匀灰色），表明模拟真实纹理可改善特征学习，尤其在模型微调时效果更明显。
• 研究发现，当检测任务微调时，DCNN对缺失的低级线索表现出强不变性，但若未进行微调，这种不变性会减弱。
• 结果表明，来自3D模型的合成数据可有效增强真实数据，在资源有限和域偏移设置下降低标注负担并提升性能。