[論文レビュー] BlenderProc

Maximilian Denninger, Martin Sundermeyer+6 more|arXiv (Cornell University)|Oct 25, 2019

Advanced Neural Network Applications被引用数 25

ひとこと要約

BlenderProc は、Blender 及びその Python API に基づいたモジュラーオープンソースの手続き的パイプラインであり、ディープラーニング向けに写真のようにリアルな合成学習データを生成する。PBR を Cycles を通じて利用することで、正確なセグメンテーションマスク、深度、法線、インスタンスレベルのアノテーションを伴う高精細レンダリングを可能にし、シーン設定、サンプリング、レンダリングのための設定可能で合成可能なモジュールをサポートする。1つの GPU で時間換算で約 3,000 枚の画像を生成できる。

ABSTRACT

BlenderProc is a modular procedural pipeline, which helps in generating real looking images for the training of convolutional neural networks. These can be used in a variety of use cases including segmentation, depth, normal and pose estimation and many others. A key feature of our extension of blender is the simple to use modular pipeline, which was designed to be easily extendable. By offering standard modules, which cover a variety of scenarios, we provide a starting point on which new modules can be created.

研究の動機と目的

• コンピュータビジョンタスクにおいて、実画像の手動アノテーションにかかる高コストと長時間の問題に対処するため。
• リアルな照明、シェーディング、オブジェクト相互作用を保持する写真のようにリアルな合成学習データを生成するため。
• 研究者が多様でラベル付きのデータセットを生成できるように、モジュラーで拡張可能かつ使いやすいパイプラインを提供するため。
• インスタンスセグメンテーション、深度推定、6D ポーズ推定などの複数のコンピュータビジョンタスクを、正確な真値アノテーションでサポートするため。
• OpenGL ベースのレンダリングに依存するのを減らし、よりリアルなデータを得るために Cycles を用いた PBR を可能にするため。

提案手法

• パイプラインは、オブジェクトの配置、照明、カメラ設定などのシーン生成をプログラマティックに制御するため、Blender の Python API を使用する。
• モジュラーなアーキテクチャにより、ユーザーは YAML 設定ファイルを用いて、シーン読み込み、カメラサンプリング、レンダリングのためのモジュールを組み合わせてパイプラインを構築できる。
• 標準モジュールには、カメラポーズ、光源、オブジェクト配置のためのサンプラーが含まれており、物理的妥当性を保証するための近接チェックが実装されている。
• レンダリングモジュールは、カラー画像、深度画像、法線画像、セグメンテーション画像を生成し、出力結果は圧縮された HDF5 ファイルに格納される。
• Blender 内蔵の Cycles エンジンを用いた PBR を通じて、写真のようにリアルなレンダリングを実現し、リアルなマテリアルおよび照明相互作用を保証する。
• オブジェクトにカテゴリーやインスタンス ID を割り当てることで、パイプラインはセマンティックおよびインスタンスセグメンテーションをサポートし、メタデータは HDF5 出力に格納される。

実験結果

リサーチクエスチョン

• RQ1 モジュラーでオープンソースのパイプラインは、ディープラーニング向けに正確なマルチタスクアノテーションを備えた写真のようにリアルな合成画像を生成できるか？
• RQ2 Blender における PBR ベースのレンダリングは、従来の OpenGL ラスタライゼーションと比較して、合成データ生成においてどれほどリアルな表現を向上させるか？
• RQ3 設定可能で合成可能なモジュールは、コンピュータビジョン向けに多様でリアルなトレーニングデータセットの作成をどれほど簡素化できるか？
• RQ4 サンプリング段階における近接チェックおよび物理的制約の統合は、シーンのリアリズムとデータ品質をどのように向上させるか？
• RQ5 バッチ処理パイプラインにおける合成データ生成において、レンダリング品質と生成速度のトレードオフはどのようなものか？

主な発見

• BlenderProc は、Blender の Cycles エンジンを用いた PBR を通じて、OpenGL ベースの手法と比較して著しくリアルな表現を実現する高品質な写真のようにリアルな合成画像を生成する。
• 1つの GPU で時間換算で約 3,000 枚の画像を生成できるため、オフラインでバッチ処理が行われるという性質を考慮すれば、これは妥当な生成速度である。
• 正確なセグメンテーションマスク、深度マップ、法線マップが信頼性高く生成され、1シーンあたり1つの圧縮 HDF5 ファイルに格納される。
• モジュラー設計により、物理シミュレーション、オブジェクト交換、高度なサンプラーなどの新しいモジュールを簡単な設定でシームレスに統合できる。
• サンプラーにおける近接チェックにより、手動による介入なしに物理的に妥当なカメラおよびオブジェクトの配置が保証され、シーンのリアリズムが向上する。
• クラスおよびインスタンス ID を割り当てて格納することにより、システムはセマンティックおよびインスタンスセグメンテーションをサポートし、現代のディープラーニングベンチマークでの直接利用が可能になる。