[论文解读] Augmented Reality Meets Computer Vision : Efficient Data Generation for Urban Driving Scenes

Hassan Abu Alhaija, Siva Karthik Mustikovela+3 more|arXiv (Cornell University)|Aug 4, 2017

Advanced Neural Network Applications被引用 16

一句话总结

本文提出了一种新颖的数据增强方法，通过将真实世界图像与逼真的合成汽车相结合，高效生成多样且逼真的训练数据，用于城市驾驶场景理解。通过使用最少的用户输入，将真实背景与逼真的3D汽车实例结合，该方法在KITTI和Cityscapes基准测试中显著提升了实例分割和目标检测的性能，相较于完全合成数据或有限的真实数据具有明显优势。

ABSTRACT

The success of deep learning in computer vision is based on availability of large annotated datasets. To lower the need for hand labeled images, virtually rendered 3D worlds have recently gained popularity. Creating realistic 3D content is challenging on its own and requires significant human effort. In this work, we propose an alternative paradigm which combines real and synthetic data for learning semantic instance segmentation and object detection models. Exploiting the fact that not all aspects of the scene are equally important for this task, we propose to augment real-world imagery with virtual objects of the target category. Capturing real-world images at large scale is easy and cheap, and directly provides real background appearances without the need for creating complex 3D models of the environment. We present an efficient procedure to augment real images with virtual objects. This allows us to create realistic composite images which exhibit both realistic background appearance and a large number of complex object arrangements. In contrast to modeling complete 3D environments, our augmentation approach requires only a few user interactions in combination with 3D shapes of the target object. Through extensive experimentation, we conclude the right set of parameters to produce augmented data which can maximally enhance the performance of instance segmentation models. Further, we demonstrate the utility of our approach on training standard deep models for semantic instance segmentation and object detection of cars in outdoor driving scenes. We test the models trained on our augmented data on the KITTI 2015 dataset, which we have annotated with pixel-accurate ground truth, and on Cityscapes dataset. Our experiments demonstrate that models trained on augmented imagery generalize better than those trained on synthetic data or models trained on limited amount of annotated real data.

研究动机与目标

• 解决为城市驾驶场景理解而手动标注的真实世界数据集成本高昂且多样性有限的问题。
• 克服完全合成数据的局限性，后者通常缺乏真实感，难以泛化到真实世界测试数据。
• 在最大化数据多样性与真实感的同时，减少人工在数据创建中的投入。
• 研究背景真实感、前景真实感以及目标位置对模型泛化能力的影响。
• 开发一种高效、可扩展的数据增强流水线，结合真实背景与合成前景物体。

提出的方法

• 利用相机标定和环境图，将逼真的3D渲染汽车实例添加到真实世界图像中。
• 通过最少的用户交互定义目标位置和相机参数，避免完整的3D场景重建。
• 使用环境图实现逼真的光照和反射效果，尽管实验表明其对模型性能的影响较小。
• 通过后处理（如色彩校正、噪声添加）提升增强图像的低层级真实感。
• 通过随机3D放置、地面平面投影或语义分割采样目标位置，避免物理上不合理的放置。
• 在增强数据上训练实例分割和目标检测模型，并在KITTI和Cityscapes等真实世界基准上进行评估。

实验结果

研究问题

• RQ1 背景真实感如何影响在增强数据上训练的实例分割模型的泛化性能？
• RQ2 每张真实图像中添加多少张合成汽车数据可使模型性能达到最优？
• RQ3 不同的目标放置策略（随机3D放置、地面平面、语义分割、手动轨迹）如何影响模型准确率？
• RQ4 反射真实感和后处理对模型在真实测试数据上的性能影响有多大？
• RQ5 混合真实-合成数据增强方法是否能超越完全合成数据或有限真实数据的训练效果？

主要发现

• 在KITTI 2015和Cityscapes基准上，使用真实背景与合成汽车训练的模型性能优于完全合成数据或有限真实数据训练的模型。
• 真实背景的多样性是模型泛化能力的最关键因素，即使使用相同的合成前景物体也是如此。
• 当使用完全合成的VKITTI数据时，添加合成数据的性能增益在约4,000张图像后趋于饱和，表明收益递减。
• 使用随机环境图或完全不使用环境图对分割性能影响极小，表明精确的反射并非模型学习的必要条件。
• 后处理显著提升了低层级真实感，并在分割任务中带来可测量的性能提升。
• 在地面上放置目标（无论是否结合语义分割）优于随机3D放置，且无需手动标注即可实现有效增强。