[論文レビュー] The Replica Dataset: A Digital Replica of Indoor Spaces

Julian Straub, Thomas J. Whelan+28 more|arXiv (Cornell University)|Jun 13, 2019

Robotics and Sensor-Based Localization参考文献 27被引用数 382

ひとこと要約

Replica は HDR テクスチャ、セマンティック/インスタンス注釈、反射板を備えた18の高度にフォトリアルな3D室内シーン再構築を提供し、MLと具現化AI研究向けに設計されています。 Habitat互換で、最小限のSDKが付属します。

ABSTRACT

We introduce Replica, a dataset of 18 highly photo-realistic 3D indoor scene reconstructions at room and building scale. Each scene consists of a dense mesh, high-resolution high-dynamic-range (HDR) textures, per-primitive semantic class and instance information, and planar mirror and glass reflectors. The goal of Replica is to enable machine learning (ML) research that relies on visually, geometrically, and semantically realistic generative models of the world - for instance, egocentric computer vision, semantic segmentation in 2D and 3D, geometric inference, and the development of embodied agents (virtual robots) performing navigation, instruction following, and question answering. Due to the high level of realism of the renderings from Replica, there is hope that ML systems trained on Replica may transfer directly to real world image and video data. Together with the data, we are releasing a minimal C++ SDK as a starting point for working with the Replica dataset. In addition, Replica is `Habitat-compatible', i.e. can be natively used with AI Habitat for training and testing embodied agents.

研究の動機と目的

• 高忠実度で写真実写風の3D室内データセットを、豊かなジオメトリ、テクスチャ、セマンティクスとともに作成する。
• プリミティブごとのセマンティックおよびインスタンス注釈と、反射表面（ガラス/鏡）を含める。
• 現実的なレンダリングと現実世界への移行ポテンシャルを備えた、具現化AI、ナビゲーション、認知におけるML研究を可能にする。
• MLワークフローと統合を促進するツール（SDK）とHabitat互換性を提供する。

提案手法

• SLAMベースの6-DoF姿勢のために、カスタムRGB-DリグとIRプロジェクターを用いて3D室内シーンをキャプチャする。
• 深度をTSDFにフュージしてメッシュをMarching Cubesで抽出し、HDR PTex風のテクスチャで着色する。
• メッシュ品質とレンダリング実在感を向上させるために、穴と平面反射体を手動で修正する。
• 2段階のセマンティック注釈を実施：レンダリングビューに基づく2D画像ラベリングを行い、それを3Dセグメンテーションフォレストへ融合する。
• 匿名化可能な領域を注釈し、クラスおよびインスタンスラベリングを可能にする階層型セグメーション構造を提供する。
• 最小限のC++ SDKを公開し、ML統合を容易にするためHabitat互換フォーマットでデータを公開する。

実験結果

リサーチクエスチョン

• RQ1 HDRテクスチャと反射体を備えた高度に現実的な3D室内再構成は、MLモデルの sim-to-real ドメインギャップを縮小できるか？
• RQ2 平面ミラーとガラス反射体の含有が、レンダリングのフォトリアリズムとセマンティック精度にどのように影響するか？
• RQ3 セマンティックおよびインスタンス注釈の品質と構造はどのようで、3D/2Dタスクや具現化AIベンチマークにどう活用できるか？
• RQ4 現存する再構成ベースのデータセット（例：Matterport3D、ScanNet）と比較して、現実感と注釈の細部の観点でReplicaはどうか？
• RQ5 ReplicaをHabitatと組み合わせて、ナビゲーション、指示追従、質問応答のための具現代的エージェントを訓練・評価するにはどう活用できるか？

主な発見

• Replica は、密なジオメトリ、HDRテクスチャ、セマンティッククラス/インスタンス注釈、反射体（ガラス/鏡）を備えた18シーンから成る。
• HDRテクスチャは、従来のデータセットと比較して非常に高いダイナミックレンジ（約85,000:1、16段以上の露光幅）をもたらす。
• 本データセットはレンダリング可能な反射体と、物体境界での高精度なセマンティック表現を導入し、正確なインスタンスおよびクラスセグメンテーションを可能にする。
• Replica は、テキストで述べられているように、いくつかの従来の再構成ベースデータセット（例：MP3D、ScanNet）よりも色・ジオメトリ・セマンティック分解能が高いことを示している。
• 最小限のC++ SDKとHabitat互換性が提供され、レンダリング、実験、MLワークフローを促進する。
• 同一空間の時間変化する配置を捉えるため、6つのFRLアパートメントシーンが異なる構成で提示される。