[論文レビュー] SceneNet RGB-D: 5M Photorealistic Images of Synthetic Indoor Trajectories with Ground Truth

John McCormac, Ankur Handa+2 more|ArXiv.org|Dec 15, 2016

Advanced Vision and Imaging参考文献 18被引用数 91

ひとこと要約

SceneNet RGB-D は、15,000 件の合成屋内トラジェクトリから得られる 500 万枚のフォトリアルな RGB-D 画像を含む大規模な合成データセットを提供する。このデータセットには、セマンティックセグメンテーション、インスタンスセグメンテーション、オプティカルフロー、深度推定、カメラポーズ、3D再構築のためのピixel単位の正確な真値が含まれる。データセットは、物理的にシミュレートされたオブジェクト配置、ランダムな照明、テクスチャ付きレイアウト、レイトレースレンダリングパイプラインを用いた運動ブラー付きカメラトラジェクトリを用いて生成され、データ集約型ビジョンモデルの高精度な事前学習を可能にする。

ABSTRACT

We introduce SceneNet RGB-D, expanding the previous work of SceneNet to enable large scale photorealistic rendering of indoor scene trajectories. It provides pixel-perfect ground truth for scene understanding problems such as semantic segmentation, instance segmentation, and object detection, and also for geometric computer vision problems such as optical flow, depth estimation, camera pose estimation, and 3D reconstruction. Random sampling permits virtually unlimited scene configurations, and here we provide a set of 5M rendered RGB-D images from over 15K trajectories in synthetic layouts with random but physically simulated object poses. Each layout also has random lighting, camera trajectories, and textures. The scale of this dataset is well suited for pre-training data-driven computer vision techniques from scratch with RGB-D inputs, which previously has been limited by relatively small labelled datasets in NYUv2 and SUN RGB-D. It also provides a basis for investigating 3D scene labelling tasks by providing perfect camera poses and depth data as proxy for a SLAM system. We host the dataset at http://robotvault.bitbucket.io/scenenet-rgbd.html

研究の動機と目的

• データ集約型ディープラーニングモデルをトレーニングするための、大規模で高品質で完全に教師ありの RGB-D データセットの不足を解消すること。
• 手作業によるアノテーションに依存するのを減らすために、完全な真値を備えたフォトリアルな合成データを生成すること。
• 現実的で多様性がありスケーラブルな合成データを用いて、コンピュータビジョンモデルをスクラッチから事前学習可能にする。
• 一貫性のあるカメラトラジェクトリとメトリック深度を提供することで、時間的および幾何的ビジョンタスクを支援すること。
• 物理的に妥当でランダム化された屋内シーン構成を通じて、ドメイン適応と 3D レンダリング理解を促進すること。

提案手法

• フォトリアルな RGB-D 画像は、完全な照明効果、運動ブラー、現実的なカメラ応答関数を備えたレイトレーシングレンダラーを用いて生成される。
• 合成シーンは、Chrono エンジンを用いて ShapeNet に含まれる 3D オブジェクトを物理的にシミュレートされたレイアウトにランダムに配置することで手続き的に生成され、安定的で現実的な配置が保証される。
• 自然な人間の動きを模倣するように、自動的にカメラトラジェクトリが生成され、滑らかで連続的な経路と補間されたポーズが運動ブラーを実現する。
• 1～5 個の光源（点光源および面光源）を用いてランダムな照明を適用し、色調、出力、位置をランダム化するが、シーンの上半分に偏るよう設計されている。
• 壁、床、カーテンなど、多数の実世界素材のコレクションからランダムにテクスチャを抽出することで、シーン間の視覚的多様性を確保する。
• 現実のカメラ動作を模倣するために非線形なカメラ応答関数（CRF）が適用され、運動ブラーはレンダリング中のカメラポーズの時間的統合によって実装される。

実験結果

リサーチクエスチョン

• RQ1 完全に合成的でフォトリアルな RGB-D データセットをスケールアップして、ピixel単位の完全な真値を備えたデータ集約型ビジョンモデルのトレーニングを可能にできるか？
• RQ2 現実的な照明、運動ブラー、物理的に妥当なオブジェクト配置を備えた合成データは、オプティカルフローと深度推定などのタスクにおけるモデルの事前学習にどの程度効果的か？
• RQ3 ランダムなシーンおよびトラジェクトリ生成は、手作業による設計やアノテーションなしに、多様で現実的でスケーラブルなトレーニングデータをどの程度生み出せるか？
• RQ4 このようなデータセットは、実世界のロボット工学や拡張現実（AR）アプリケーションにおけるより良い一般化とドメイン適応を可能にするか？
• RQ5 正確なカメラトラジェクトリと深度データの統合は、3D レンダリングラベル付けと SLAM に類似したシステムのトレーニングをどの程度向上させるか？

主な発見

• データセットは、多様でランダムに生成された屋内レイアウトにおける 15,000 件以上の固有のカメラトラジェクトリから得られる 500 万枚の高品質な RGB-D 画像から構成される。
• 各画像には、セマンティックセグメンテーション、インスタンスセグメンテーション、オプティカルフロー、深度、カメラポーズのピixel単位の正確なアノテーションが付随しており、マルチタスク学習が可能である。
• レイトレーシングと現実的な CRF の使用により、フォトリアルな画像品質が確保され、実際のカメラ動作に非常に近い。
• 補間されたカメラポーズの時間的統合による運動ブラーのシミュレーションが効果的に実装されており、真値ラベルに影響を与えることなく現実性が向上している。
• ランダム化された照明とテクスチャの適用により、同じ幾何的レイアウトでも視覚的に異なるレンダリングが得られ、データの多様性が向上している。
• 静的シーンや動的物理の欠如といった制限は存在するが、このデータセットは強固な事前学習を可能にし、ロボット工学や AR 分野におけるドメイン適応の強力な可能性を示している。