[論文レビュー] Matterport3D: Learning from RGB-D Data in Indoor Environments

Anne Lynn S. Chang, Angela Dai+7 more|arXiv (Cornell University)|Sep 18, 2017

Advanced Vision and Imaging参考文献 45被引用数 334

ひとこと要約

Matterport3Dは、90の建物規模のシーンを含む大規模なRGB-Dデータセットを導入し、194,400件のRGB-D画像と10,800枚のパノラマを提供します。正確なグローバルアライメントと意味情報付きアノテーションにより、多様な監督付き・自己監督型の室内シーン理解タスクを可能にします。

ABSTRACT

Access to large, diverse RGB-D datasets is critical for training RGB-D scene understanding algorithms. However, existing datasets still cover only a limited number of views or a restricted scale of spaces. In this paper, we introduce Matterport3D, a large-scale RGB-D dataset containing 10,800 panoramic views from 194,400 RGB-D images of 90 building-scale scenes. Annotations are provided with surface reconstructions, camera poses, and 2D and 3D semantic segmentations. The precise global alignment and comprehensive, diverse panoramic set of views over entire buildings enable a variety of supervised and self-supervised computer vision tasks, including keypoint matching, view overlap prediction, normal prediction from color, semantic segmentation, and region classification.

研究の動機と目的

• シーン理解モデルの訓練用として、大規模で多様なRGB-D室内データセットの不足を解消する。
• グローバルに整合した、建物規模のRGB-Dデータセットをパノラマビューと豊富な意味アノテーションとともに提供する。
• キーポイントマッチング、ビューオーバーラップ予測、法線推定、領域分類、意味的ボクセルラベリングなど、さまざまな学習タスクを可能にし、ベースラインを確立する。
• データセットが、ディスクリプタの学習、ループクロージャ、法線、意味理解をタスク全体でどのように向上させるかを示す。

提案手法

• TripodベースのMatterportキャプチャにより、6方向にわたってパノラマごとに18枚のRGB-D画像を取得し、HDRカラーを用いる。
• グローバルな束縛調整とテクスチャ付きメッシュ再構成により、6自由度のカメラ姿勢と整列した表面表現を提供する。
• クラウドソーシングと専門家検証による40カテゴリのオブジェクトレベルの3D意味アノテーション。
• キーポイントディスクリプタ、ビューオーバーラップ予測、表面法線推定、領域タイプ分類、意味的ボクセルラベリングの学習利点を示すベースライン実験。

実験結果

リサーチクエスチョン

• RQ1 Matterport3Dで、さまざまな室内ビューに対して深いローカルディスクリプタを事前学習させ、頑健なキーポイントマッチングを改善できるか。
• RQ2 包括的なパノラマサンプリングにより、ビューオーバーラップ予測の効果的なループクロージャ学習を実現できるか。
• RQ3 高品質なMatterport3D深度で訓練すると表面法線推定が改善され、他データセットへ一般化するか。
• RQ4 画像の視野（単一視野 vs パノラマ）が領域タイプ分類の性能にどう影響するか。
• RQ5 Matterport3Dのセマンティックボクセルラベリングはどうか。20クラスでの平均精度はどの程度か。従来データセットと比較してどうか。

主な発見

• Matterport3Dでの事前学習は、ResNet-50ディスクリプタを使用した場合にSUN3Dベンチマークでキーポイントマッチング性能を向上させる。
• Matterport3Dデータはビューオーバーラップ予測に有益で、検索指標の向上を達成し、追加のオーバーラップ回帰損失がさらなる改善をもたらす。
• Matterport3Dで事前学習し、その後NYUv2で評価すると表面法線推定が改善され、MPの事前学習は定性的・定量的な結果とデータセット間の一般化がより良い。
• パノラマビューは領域タイプ分類に有利で、視野が広がるほどいくつかの領域カテゴリ（例: オフィス、廊下、階段、キッチンなど）の精度が向上する。
• Matterport3Dのテストシーンでの意味的ボクセルラベリングは20クラスで平均精度70.3%を達成し、強力な3D意味理解を示している。