[論文レビュー] Kubric: A scalable dataset generator

Klaus Greff, Francois Belletti+33 more|arXiv (Cornell University)|Mar 7, 2022

Remote Sensing and LiDAR Applications被引用数 4

ひとこと要約

Kubric は、PyBullet と Blender を統合することで、写真のようにリアルな合成データセットを豊富なアノテーション付きで生成する、オープンソースでスケーラブルな Python フレームワークです。これにより、数千台のマシンにわたる分散学習が可能となり、テラバイト単位のデータを生成できます。3D NeRF からオプティカルフローに至る多様なビジョンタスクを、シーンの複雑さに対する細かな制御と自動的な真値ラベル付けによってサポートします。

ABSTRACT

Data is the driving force of machine learning, with the amount and quality of training data often being more important for the performance of a system than architecture and training details. But collecting, processing and annotating real data at scale is difficult, expensive, and frequently raises additional privacy, fairness and legal concerns. Synthetic data is a powerful tool with the potential to address these shortcomings: 1) it is cheap 2) supports rich ground-truth annotations 3) offers full control over data and 4) can circumvent or mitigate problems regarding bias, privacy and licensing. Unfortunately, software tools for effective data generation are less mature than those for architecture design and training, which leads to fragmented generation efforts. To address these problems we introduce Kubric, an open-source Python framework that interfaces with PyBullet and Blender to generate photo-realistic scenes, with rich annotations, and seamlessly scales to large jobs distributed over thousands of machines, and generating TBs of data. We demonstrate the effectiveness of Kubric by presenting a series of 13 different generated datasets for tasks ranging from studying 3D NeRF models to optical flow estimation. We release Kubric, the used assets, all of the generation code, as well as the rendered datasets for reuse and modification.

研究の動機と目的

• コスト、プライバシー、公平性、ライセンスの懸念から、現実世界のデータを大規模に収集・整備・アノテーションする課題に対処するため。
• 豊富なアノテーションとシーンパラメータの細かな制御を可能にする、汎用的で再利用可能な合成データ生成フレームワークを開発するため。
• 数千台のマシンにわたる大規模な分散データ生成を可能にし、効率的にテラバイト規模の高品質なデータを生成するため。
• 13種類の多様なデータセットを生成することで、フレームワークの多様性を実証し、複数のビジョンタスクにおけるモデルベンチマークを可能にするため。
• オープンソースのコード、アセット、標準化されたデータフォーマットを提供することで、再現性、共有アセット、倫理的なデータセット設計を促進するため。

提案手法

• Kubric は、物理シミュレーションに PyBullet、高精細レンダリングに Blender を統合して、写真のようにリアルなシーンを生成します。
• シンプルな Python API を用いて、オブジェクト、カメラ、照明、シーンパラメータを定義することで、プログラムによる制御を可能にします。
• フレームワークは、インスタンスセグメンテーションマスク、深度マップ、オプティカルフロー、カメラポーズなど、豊富なアノテーションを自動生成します。
• スケーラブルなジョブオーケストレーションを用いて分散データ生成を実現し、数千台のマシンでテラバイト規模のデータセット作成を可能にします。
• 既存のトレーニングパイプラインおよび下流のビジョンタスクとの互換性を確保するため、標準化されたデータエクスポートフォーマットを採用します。
• 3D オブジェクト、マテリアル、テクスチャなどのアセットは、複数のリポジトリから収集され、統合された再利用可能なライブラリに統合されます。

Figure 1 : Example scene created and rendered with Kubric along with some of the automatically generated annotations.

実験結果

リサーチクエスチョン

• RQ1 汎用的な合成データ生成フレームワークを構築可能か。大規模で分散可能かつ再現可能なデータセット生成を可能にするか。
• RQ2 豊富なアノテーション付きの合成データは、オプティカルフロー や 3D シーン再構築などのビジョンタスクにおけるシミュレーションから実世界への一般化ギャップをどの程度埋められるか。
• RQ3 統一されたフレームワークが、複数のビジョンタスクにわたり多様なデータセットを生成する際、写真のようにリアルでアノテーションの正確性を維持できるか。
• RQ4 大規模な合成データセットの生成における環境的・倫理的トレードオフは何か。それらはどのように軽減できるか。
• RQ5 合成データ生成ツールは、自動運転などの安全が求められるアプリケーションで、モデルのバイアスや故障モードの早期検出を促進できるか。

主な発見

• Kubric は、3D NeRF モデリングからオプティカルフロー推定に至るまでの、13種類の多様で高品質なデータセットを成功裏に生成し、広範な適用可能性を示した。
• 数千台のマシンで実行される分散ジョブを用いて、テラバイト規模のデータ生成が可能となり、高いスケーラビリティと効率性を達成した。
• 生成されたすべてのデータセットには、インスタンスセグメンテーションマスク、深度マップ、オプティカルフロー、カメラポーズなどの豊富な自動アノテーションが含まれており、マルチタスク学習を支援する。
• Kubric における合成データの使用により、データの複雑さ、照明、視点に対する完全な制御が可能となり、現実世界のデータセットに見られるバイアスを低減した。
• フレームワークのオープンソースリリースには、すべてのコード、アセット、データセットが含まれており、研究コミュニティによる再利用、再現、変更が可能である。
• 計算コストが高額である（例：オプティカルフロー データセットでは約 3 CPU 年）ものの、スケーリングの前段階でより小さな制御可能な実験を可能にするため、エネルギー効率を高める。

Figure 2 : Overview – a typical Kubric worker randomly populates a scene with assets loaded from an external source, possibly runs a physics simulation, renders the resulting frames, and finally exports the images, annotation layers, and other metadata.