[論文レビュー] OpenRooms: An End-to-End Open Framework for Photorealistic Indoor Scene Datasets

Zhengqin Li, Ting-Wei Yu+15 more|arXiv (Cornell University)|Jul 25, 2020

Advanced Vision and Imaging参考文献 53被引用数 13

ひとこと要約

OpenRoomsは、幾何学、空間的に変化するBRDF、照明（直接/間接光、可視性、各光源の寄与を含む）、意味的属性の高精度な真値を備えた、大規模で写真実地的なインDoorシーンデータセットを生成するオープンでエンド・ツー・エンドのフレームワークを導入する。コンsumer用RGBDスキャンとカスタムGPUアクセラレート物理ベースレンダラを活用することで、実写とシミュレーションの対応を実現するInverse Rendering、意味セグメンテーション、ロボティクスシミュレーションのためのディープラーニングネットワークの学習が可能となり、実画像において最先端の性能を達成した。

ABSTRACT

We propose a novel framework for creating large-scale photorealistic datasets of indoor scenes, with ground truth geometry, material, lighting and semantics. Our goal is to make the dataset creation process widely accessible, transforming scans into photorealistic datasets with high-quality ground truth for appearance, layout, semantic labels, high quality spatially-varying BRDF and complex lighting, including direct, indirect and visibility components. This enables important applications in inverse rendering, scene understanding and robotics. We show that deep networks trained on the proposed dataset achieve competitive performance for shape, material and lighting estimation on real images, enabling photorealistic augmented reality applications, such as object insertion and material editing. We also show our semantic labels may be used for segmentation and multi-task learning. Finally, we demonstrate that our framework may also be integrated with physics engines, to create virtual robotics environments with unique ground truth such as friction coefficients and correspondence to real scenes. The dataset and all the tools to create such datasets will be made publicly available.

研究の動機と目的

• 外観、幾何学、照明、素材の真値を包括的に備えた大規模で写真実地的なインドアシーンデータセットの不足を解消すること。
• コンsumer用3Dスキャナとオープンソースツールを用いて、高品質なデータセット作成を研究者に容易にすること。
• ロボティクスおよび拡張現実（AR）における正確なInverse Rendering、意味セグメンテーション、シミュレーションから実世界への転送を可能にすること。
• 相互反射、ソフトシャドウ、可視性を考慮した照明といった、複雑な光伝搬効果をサポートするフレームワークを提供すること。
• 合成データセットに物理的に正確で空間的に変化するBRDFおよび照明表現を拡張し、リアリズムと下流タスクのパフォーマンスを向上させること。

提案手法

• フレームワークは、コンsumer用センサからのRGBDスキャンを出発点とし、アライメント技術を用いて一貫性のある部屋および家具のレイアウトを再構築する。
• アルベド、法線、粗さを入力として、マイクロファセットベースのモデルを用いてピクセル単位の空間的に変化するBRDFを割り当てる。
• 環境マップ、面光源、窓プレーンを含む物理ベースの表現を用いて照明をモデル化し、可視性と遮蔽はレイトラーシングで処理する。
• 複数の重要度サンプリングを用いて、小さな光源や複雑な照明を効率的に処理できる、カスタムOptiXベースのGPUレンダラが写真実地的な画像を計算する。
• 個々の光源をレンダリング中に分離することで、直接光、間接光、遮蔽された成分を含む各光源の寄与に関する真値を提供する。
• フレームワークはPyBulletなどの物理エンジンと統合され、SVBRDFを摩擦係数にマッピングすることで、現実的なロボットシミュレーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルでオープンなフレームワークは、低コストのRGBDスキャンから幾何学、素材、照明の完全な真値を備えた写真実地的インドアシーンを生成できるか？
• RQ2 OpenRoomsで学習されたディープネットワークは、形状・素材・照明推定といったInverse Renderingタスクにおいて、実画像へどれほど一般化できるか？
• RQ3 OpenRoomsの意味的および物理的アノテーションは、マルチタスク学習および意味セグメンテーションのパフォーマンスをどの程度向上できるか？
• RQ4 本データセットは、オブジェクト挿入や素材編集を含む高度な拡張現実（AR）アプリケーションを、写真実地的忠実度でサポートできるか？
• RQ5 OpenRoomsのアセットが物理ベースのロボティクスシミュレータに統合された際、真値の摩擦および照明を備えたシミュレーションから実世界への転送はどの程度うまくいくか？

主な発見

• OpenRoomsデータセットには、深度、法線、SVBRDF、照明、可視性、意味的属性のピクセル単位の真値を備えた10万枚を超えるHDR画像が含まれる。
• OpenRoomsで学習されたディープネットワークは、実画像における形状・素材・照明推定のタスクで競争力のあるパフォーマンスを達成し、写真実地的ARアプリケーションを可能にした。
• 本データセットは各光源の寄与に関する監視を可能にし、将来的な照明編集や複雑な照明操作の応用を可能にする。
• OpenRoomsの意味ラベルは、意味セグメンテーションおよびマルチタスク学習において優れたパフォーマンスを発揮し、タスク間の一般化を向上させた。
• PyBulletとの統合により、SVBRDFから導出された摩擦係数を備えた、物理的性質が正確な仮想ロボティクス環境の構築が可能になった。
• オープンソースのツールにより、コミュニティ主導でのデータセット拡張が可能となり、初期リリースを越えた多様な素材や幾何学的形状のサポートが可能になった。