[论文解读] Exploring Invariances in Deep Convolutional Neural Networks Using Synthetic Images.

Xingchao Peng, Baochen Sun+2 more|arXiv (Cornell University)|Dec 22, 2014

Domain Adaptation and Few-Shot Learning被引用 45

一句话总结

本文研究了在合成3D CAD生成图像上训练的深度卷积神经网络（DCNNs）中的不变性，表明DCNNs对形状、姿态和逼真度变化表现出强烈的不变性。作者提出了一种结合真实数据与合成数据的自适应训练方法，在少样本学习设置下显著优于先前方法，在Office基准的域偏移场景中表现匹配或超过仅使用真实数据训练的性能。

ABSTRACT

Crowdsourced 3D CAD models are becoming easily accessible online, and can potentially generate an infinite number of training images for almost any object category. We show that adapting contemporary Deep Convolutional Neural Net (DCNN) models to such data can be effective, especially in the few-shot regime where none or only a few annotated real images are available, or where the images are not well matched to the target domain. Little is known about the degree of realism necessary to train models with deep features on CAD data. In a detailed analysis, we use synthetic images to probe DCNN invariance to object-class variations caused by 3D shape, pose, and photorealism, with surprising findings. In particular, we show that DCNNs used as a fixed representation exhibit a large amount of invariance to these factors, but, if allowed to adapt, can still learn effectively from synthetic data. These findings guide us in designing a method for adaptive training of DCNNs using real and synthetic data. We show that our approach significantly outperforms previous methods on the benchmark PASCAL VOC2007 dataset when learning in the fewshot scenario, and outperform training with real data in a domain shift scenario on the Office benchmark.

研究动机与目标

• 理解在合成数据中达到有效DCNN训练所需的逼真度程度。
• 研究DCNN对合成图像中3D形状、姿态和逼真度变化的不变性特性。
• 开发一种方法，使DCNN能够有效利用真实与合成数据进行训练，特别是在低资源或域偏移设置下。
• 利用合成数据作为主要训练源，提升少样本学习性能与域泛化能力。

提出的方法

• 作者使用众包获取的3D CAD模型生成合成图像，通过改变物体形状、姿态和逼真度来探测DCNN的不变性。
• 他们在合成数据上评估固定特征的DCNN表示，以测量在形状、姿态和逼真度因素下的不变性。
• 他们设计了一种自适应训练策略，先在合成数据上微调预训练的DCNN，再利用少量真实数据进一步适应。
• 该方法结合了合成数据的广泛领域覆盖与真实数据的领域特定适应，尤其在少样本和域偏移场景中表现出色。
• 该方法利用了DCNN对合成变化的不变性，实现了有效的迁移学习，而无需依赖高逼真度数据。

实验结果

研究问题

• RQ1 当在合成图像上训练时，DCNN特征在3D形状、姿态和逼真度变化下具有多大程度的不变性？
• RQ2 即使数据缺乏逼真细节，DCNN是否仍能从合成数据中有效学习？
• RQ3 在合成数据上进行自适应微调后，再使用少量真实数据，如何提升少样本学习性能？
• RQ4 在域偏移场景中，结合合成与真实数据是否优于仅使用真实数据进行训练？

主要发现

• 即使在缺乏高逼真度的情况下，DCNN在使用合成数据时也对3D形状、姿态和逼真度的变化表现出强烈的不变性。
• 在合成数据上对DCNN进行自适应微调可实现有效学习，尤其在少样本场景中结合极少真实数据时效果显著。
• 所提出的方法在PASCAL VOC2007基准的少样本学习条件下达到了最先进性能。
• 在Office基准的域偏移场景中，该方法优于仅使用真实数据训练，表现出更优的域泛化能力。