[论文解读] Kubric: A scalable dataset generator

Klaus Greff, Francois Belletti+33 more|arXiv (Cornell University)|Mar 7, 2022

Remote Sensing and LiDAR Applications被引用 4

一句话总结

Kubric 是一个开源的、可扩展的 Python 框架，通过集成 PyBullet 和 Blender，能够生成具有丰富标注的逼真合成数据集，支持在数千台机器上进行分布式训练，并高效生成 TB 级数据。该框架通过精细控制场景复杂度，支持从 3D NeRF 到光流等多种视觉任务，实现自动真实标注。

ABSTRACT

Data is the driving force of machine learning, with the amount and quality of training data often being more important for the performance of a system than architecture and training details. But collecting, processing and annotating real data at scale is difficult, expensive, and frequently raises additional privacy, fairness and legal concerns. Synthetic data is a powerful tool with the potential to address these shortcomings: 1) it is cheap 2) supports rich ground-truth annotations 3) offers full control over data and 4) can circumvent or mitigate problems regarding bias, privacy and licensing. Unfortunately, software tools for effective data generation are less mature than those for architecture design and training, which leads to fragmented generation efforts. To address these problems we introduce Kubric, an open-source Python framework that interfaces with PyBullet and Blender to generate photo-realistic scenes, with rich annotations, and seamlessly scales to large jobs distributed over thousands of machines, and generating TBs of data. We demonstrate the effectiveness of Kubric by presenting a series of 13 different generated datasets for tasks ranging from studying 3D NeRF models to optical flow estimation. We release Kubric, the used assets, all of the generation code, as well as the rendered datasets for reuse and modification.

研究动机与目标

• 为应对因成本、隐私、公平性和许可问题而带来的大规模真实世界数据收集、整理与标注的挑战。
• 开发一个通用、可重用的合成数据生成框架，支持丰富标注和对场景参数的精细控制。
• 实现跨数千台机器的大规模、分布式数据生成，高效生成 TB 级高质量数据。
• 通过创建 13 个多样化的数据集，展示框架在多种视觉任务上的通用性，用于基准测试视觉模型。
• 通过开源代码、资产和标准化数据格式，促进可复现性、资源共享和伦理数据设计。

提出的方法

• Kubric 集成 PyBullet 进行物理模拟，结合 Blender 实现高保真渲染，以生成逼真的场景。
• 通过简单的 Python API 定义场景，包括物体、相机、光照和场景参数，实现程序化控制。
• 框架自动生成丰富的标注，如实例分割掩码、深度图、光流和相机位姿。
• Kubric 通过可扩展的工作编排支持分布式数据生成，实现在数千台机器上创建 TB 级数据集。
• 采用标准化的数据导出格式，确保与现有训练流程和下游视觉任务的兼容性。
• 3D 物体、材质和纹理等资产来自多个仓库，整合为统一、可重用的库。

Figure 1 : Example scene created and rendered with Kubric along with some of the automatically generated annotations.

实验结果

研究问题

• RQ1 能否构建一个通用的合成数据生成框架，实现大规模、可扩展、可复现的数据集创建？
• RQ2 具有丰富标注的合成数据在多大程度上可以缩小视觉任务（如光流和 3D 场景重建）中的模拟到真实泛化差距？
• RQ3 统一框架在保持逼真度和标注保真度的前提下，多大程度上能有效生成适用于多种视觉任务的多样化数据集？
• RQ4 大规模生成合成数据集存在哪些环境与伦理权衡，如何加以缓解？
• RQ5 合成数据生成工具是否能促进在自动驾驶等安全关键应用中更早发现模型偏差和故障模式？

主要发现

• Kubric 为从 3D NeRF 建模到光流估计等任务成功生成了 13 个多样化、高质量的数据集，展示了其广泛适用性。
• 该框架通过在数千台机器上运行的分布式任务，实现了 TB 级数据的生成，展现出高度可扩展性和效率。
• 所有生成的数据集均包含丰富的自动标注，如实例分割掩码、深度图、光流和相机位姿，支持多任务学习。
• Kubric 中使用合成数据可完全控制数据复杂度、光照和视角，减少真实世界数据集中常见的偏差。
• 该框架的开源发布包含所有代码、资产和数据集，使研究社区能够轻松复用、复制和修改。
• 尽管计算成本较高（例如，光流数据集约需 3 个 CPU 年），但该框架通过支持小规模、可控实验，促进了能效优化。

Figure 2 : Overview – a typical Kubric worker randomly populates a scene with assets loaded from an external source, possibly runs a physics simulation, renders the resulting frames, and finally exports the images, annotation layers, and other metadata.