[论文解读] Driving in the Matrix: Can Virtual Worlds Replace Human-Generated Annotations for Real World Tasks?

Matthew Johnson‐Roberson, Charles Barto+4 more|arXiv (Cornell University)|Oct 6, 2016

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出使用由仿真引擎生成的逼真虚拟世界来创建用于深度学习的合成、带注释的训练数据。通过仅在虚拟环境的合成数据上训练最先进目标检测网络，作者在KITTI真实世界基准测试中取得了优于使用人工标注真实世界数据训练的模型的性能，证明了虚拟标注可以替代真实世界任务中的人工标注数据。

ABSTRACT

Deep learning has rapidly transformed the state of the art algorithms used to address a variety of problems in computer vision and robotics. These breakthroughs have relied upon massive amounts of human annotated training data. This time consuming process has begun impeding the progress of these deep learning efforts. This paper describes a method to incorporate photo-realistic computer images from a simulation engine to rapidly generate annotated data that can be used for the training of machine learning algorithms. We demonstrate that a state of the art architecture, which is trained only using these synthetic annotations, performs better than the identical architecture trained on human annotated real-world data, when tested on the KITTI data set for vehicle detection. By training machine learning algorithms on a rich virtual world, real objects in real scenes can be learned and classified using synthetic data. This approach offers the possibility of accelerating deep learning's application to sensor-based classification problems like those that appear in self-driving cars. The source code and data to train and validate the networks described in this paper are made available for researchers.

研究动机与目标

• 解决计算机视觉和机器人领域深度学习中耗时的人工标注瓶颈。
• 探究合成的、由仿真生成的数据是否可以替代真实世界任务中的人工标注数据。
• 评估仅使用来自逼真虚拟世界的合成标注训练的模型在真实世界基准测试中的性能。
• 为基于传感器的分类任务在自动驾驶系统中实现更快、可扩展的数据生成。

提出的方法

• 利用高保真仿真引擎生成城市驾驶场景的逼真图像。
• 自动为合成场景中的物体生成密集且准确的标注（例如，边界框）。
• 仅使用合成仿真数据训练最先进目标检测神经网络。
• 在真实世界的KITTI基准数据集上评估训练好的模型在车辆检测任务中的表现。
• 通过领域随机化和数据增强技术，提升从仿真到现实的泛化能力。
• 利用虚拟世界的可控性，改变光照、天气和物体配置以提升鲁棒性。

实验结果

研究问题

• RQ1 来自逼真仿真引擎的合成数据是否能生成在真实世界视觉识别任务中具有良好泛化能力的模型？
• RQ2 在纯合成标注上进行训练是否优于在人工标注的真实世界数据上进行训练以实现目标检测？
• RQ3 在仿真中进行领域随机化在多大程度上能提升深度学习模型在真实世界中的表现？
• RQ4 虚拟世界能否消除自动驾驶应用中对昂贵人工标注数据集的需求？

主要发现

• 仅在虚拟世界中合成标注上训练的深度学习模型，在KITTI基准测试中表现优于在人工标注真实世界数据上训练的相同模型。
• 在KITTI测试集上，合成数据训练的模型达到了比真实世界人工标注数据训练模型更高的平均精度均值（mAP）。
• 性能提升归因于合成数据的高多样性与可扩展性，包括对光照、天气和物体位置的受控变化。
• 结果表明，来自丰富虚拟世界的合成数据可有效替代真实世界目标检测任务中的人工标注数据。
• 作者发布了源代码和数据，以支持可复现性，并推动合成数据训练的进一步研究。