[论文解读] BlenderProc

Maximilian Denninger, Martin Sundermeyer+6 more|arXiv (Cornell University)|Oct 25, 2019

Advanced Neural Network Applications被引用 25

一句话总结

BlenderProc 是一个基于 Blender 及其 Python API 构建的模块化、开源的程序化数据生成流水线，可为深度学习生成逼真的合成训练数据。它通过利用 Cycles 的基于物理渲染（PBR）技术，实现具有精确分割掩码、深度图、法线图和实例级标注的高保真场景渲染，并支持可配置、可组合的模块化组件，用于场景设置、采样和渲染，在单张 GPU 上每小时可生成约 3,000 张图像。

ABSTRACT

BlenderProc is a modular procedural pipeline, which helps in generating real looking images for the training of convolutional neural networks. These can be used in a variety of use cases including segmentation, depth, normal and pose estimation and many others. A key feature of our extension of blender is the simple to use modular pipeline, which was designed to be easily extendable. By offering standard modules, which cover a variety of scenarios, we provide a starting point on which new modules can be created.

研究动机与目标

• 解决计算机视觉任务中真实图像手动标注所耗费的高昂成本和时间。
• 生成保留真实光照、阴影和物体交互效果的逼真合成训练数据。
• 为研究人员提供一个模块化、可扩展且易于使用的流水线，用于生成多样化、带标注的数据集。
• 支持多种计算机视觉任务，如实例分割、深度估计和 6D 姿态估计，并提供精确的真值标注。
• 减少对基于 OpenGL 渲染的依赖，通过在 Cycles 中启用 PBR 实现更真实的合成数据。

提出的方法

• 该流水线使用 Blender 的 Python API 程序化控制场景生成，包括物体放置、光照和相机配置。
• 模块化架构允许用户通过 YAML 配置文件组合流水线，指定用于场景加载、相机采样和渲染的模块。
• 标准模块包括用于相机位姿、光源和物体放置的采样器，并通过邻近度检查确保物理上的合理性。
• 渲染模块生成颜色图、深度图、法线图和分割图像，输出结果存储在压缩的 HDF5 文件中。
• 通过使用 Blender 内置的 Cycles 引擎和 PBR 技术实现逼真渲染，确保材料和光照交互的真实性。
• 该流水线通过为物体分配类别 ID 和实例 ID，支持语义分割和实例分割，元数据存储在 HDF5 输出文件中。

实验结果

研究问题

• RQ1 一个模块化、开源的流水线能否生成具有准确多任务标注的逼真合成图像以用于深度学习？
• RQ2 与传统的 OpenGL 光栅化相比，Blender 中基于 PBR 的渲染在合成数据生成中能否显著提升真实感？
• RQ3 可配置、可组合的模块在多大程度上简化了为计算机视觉任务创建多样化、真实感强的训练数据集的过程？
• RQ4 在采样过程中集成邻近度检查和物理约束，如何提升场景真实感和数据质量？
• RQ5 在批量处理的合成数据生成流水线中，渲染质量与生成速度之间的权衡如何？

主要发现

• BlenderProc 利用 Blender 的 Cycles 引擎通过基于物理的渲染（PBR）生成高质量、逼真的合成图像，其真实感显著优于基于 OpenGL 的方法。
• 该流水线在单张 GPU 上每小时可生成约 3,000 张图像，考虑到数据生成为离线批量处理，该速度可接受。
• 准确的分割掩码、深度图和法线图被可靠地生成并存储在每个场景的单一压缩 HDF5 文件中。
• 模块化设计允许通过简单配置无缝集成新模块，如物理模拟、物体替换和高级采样器。
• 采样器中的邻近度检查确保了相机和物体放置的物理合理性，从而在无需人工干预的情况下提升了场景真实感。
• 该系统通过分配并存储类别 ID 和实例 ID，支持语义分割和实例分割，可直接用于现代深度学习基准测试。