[論文レビュー] LayoutMP3D: Layout Annotation of Matterport3D

Fu-En Wang, Yu-Hsuan Yeh+3 more|arXiv (Cornell University)|Mar 30, 2020

Robotics and Sensor-Based Localization参考文献 19被引用数 8

ひとこと要約

本論文では、時間飛行（ToF）センサから得られる高精度な深度マップをすでに備えているMatterport3Dのサブセットに対して、アノテート済みの3次元レイアウトの真値を提供する新しいデータセット、LayoutMP3Dを紹介する。レイアウトと深度の両方のアノテーションを組み合わせることで、360°シーン理解における統合的学習を可能にし、統合された幾何学的・空間的推論を通じて、屋内環境におけるナビゲーションと認識の向上を支援する。

ABSTRACT

Inferring the information of 3D layout from a single equirectangular panorama is crucial for numerous applications of virtual reality or robotics (e.g., scene understanding and navigation). To achieve this, several datasets are collected for the task of 360 layout estimation. To facilitate the learning algorithms for autonomous systems in indoor scenarios, we consider the Matterport3D dataset with their originally provided depth map ground truths and further release our annotations for layout ground truths from a subset of Matterport3D. As Matterport3D contains accurate depth ground truths from time-of-flight (ToF) sensors, our dataset provides both the layout and depth information, which enables the opportunity to explore the environment by integrating both cues.

研究の動機と目的

• 360°屋内シーン理解に適した、深度とレイアウトの両方の真値を提供するデータセットの不足に対処すること。
• Matterport3Dの高精度な深度マップと手作業でアノテートされたレイアウト構造という、相補的な2つのソースを統合することで、深度とレイアウト推定の統合的学習を可能にすること。
• 両方の情報を提供することで、ロボット工学およびバーチャルリアリティ分野におけるより強固な認識システムの開発を支援すること。
• 一貫性があり高精度なアノテーションを備えた公開データセットを提供することで、統合的360°シーン理解に関する研究を促進すること。
• 深度とレイアウトのマルチモーダル統合の探求を促進し、3次元シーン再構築およびナビゲーションの向上を図ること。

提案手法

• 時間飛行（ToF）センサから得られる高精度な深度真値をすでに備えたMatterport3Dパノラマのサブセットを選定した。
• DuLa-Netアノテーションツールを用いて、マンハッタンスタイルの部屋（例：直方体、L字型）を対象とし、非マンハッタンケースを除いて3次元レイアウト構造を手作業でアノテートした。
• 等距離円形パノラマにおける床、壁、天井の平面を表すコーナー点および境界線をラベル付けすることで、レイアウトアノテーションを生成した。
• 同じパノラマ画像と空間座標を用いることで、レイアウトと深度アノテーションの整合性を確保した。
• コミュニティ利用を目的として、GitHub（https://github.com/fuenwang/LayoutMP3D）を通じてデータセットを公開した。
• アノテーションの複雑さ（4～10個以上のコーナー）に応じた、学習用（1,830）とテスト用（455）の分割を提供した。

実験結果

リサーチクエスチョン

• RQ1 360°屋内シーンに適した、深度とレイアウトの両方のアノテーションを備えた大規模かつ公開可能なデータセットを構築することは可能か？
• RQ2 深度とレイアウトの両方の真値が、360°シーン理解モデルの性能にどのように寄与するか？
• RQ3 Matterport3Dがキャプチャした実世界の屋内環境におけるレイアウトの複雑さ（例：コーナー数）の分布はどのようなものか？
• RQ4 深度とレイアウトの統合的学習は、ロボット工学およびVR分野におけるナビゲーションとシーン理解の向上にどの程度寄与するか？
• RQ5 大規模に等距離円形パノラマの3次元レイアウトをアノテートする際の実用的課題は何か？

主な発見

• LayoutMP3Dデータセットには、深度とレイアウトの両方の真値がアノテートされた2,285枚のパノラマが含まれており、そのうち1,830枚が学習用、455枚がテスト用である。
• データセットは多様なレイアウトタイプをカバーしており、4コーナーのパノラマが1,243枚、6コーナーが515枚、8コーナーが308枚、10個以上が219枚である。
• データセットはhttps://github.com/fuenwang/LayoutMP3Dに公開されており、360°深度とレイアウト推定に関するオープンな研究を可能にしている。
• Matterport3DのToFベースの深度マップと手作業でアノテートされたレイアウトを統合することで、LayoutMP3Dはマルチモーダル360°シーン理解に特化した貴重なリソースを提供する。
• 両方の情報の統合により、従来、データの整合性が不足していたため未開拓であった、深度とレイアウトの両方の特徴を統合的に活用する研究分野が新たに可能になった。
• 両方の特徴の統合は、特に屋内環境におけるナビゲーションおよび3次元再構築の分野で、より強固で意味論的に情報豊かなシーン理解を支援する。