[論文レビュー] ARKitScenes: A Diverse Real-World Dataset For 3D Indoor Scene Understanding Using Mobile RGB-D Data

Gilad Baruch, Zhuoyuan Chen+9 more|arXiv (Cornell University)|Nov 16, 2021

3D Surveying and Cultural Heritage被引用数 33

ひとこと要約

ARKitScenesは、Appleの LiDAR を搭載した携帯デバイスで撮影された初の大規模な屋内RGB-Dデータセットを提示します。5,048 のシーケンス、1,661 のシーンを特徴とし、高解像度の地上真の深度マップと3D境界ボックスを含み、3D物体検出とカラー誘導深度アップサンプリングをベンチマークします。

ABSTRACT

Scene understanding is an active research area. Commercial depth sensors, such as Kinect, have enabled the release of several RGB-D datasets over the past few years which spawned novel methods in 3D scene understanding. More recently with the launch of the LiDAR sensor in Apple's iPads and iPhones, high quality RGB-D data is accessible to millions of people on a device they commonly use. This opens a whole new era in scene understanding for the Computer Vision community as well as app developers. The fundamental research in scene understanding together with the advances in machine learning can now impact people's everyday experiences. However, transforming these scene understanding methods to real-world experiences requires additional innovation and development. In this paper we introduce ARKitScenes. It is not only the first RGB-D dataset that is captured with a now widely available depth sensor, but to our best knowledge, it also is the largest indoor scene understanding data released. In addition to the raw and processed data from the mobile device, ARKitScenes includes high resolution depth maps captured using a stationary laser scanner, as well as manually labeled 3D oriented bounding boxes for a large taxonomy of furniture. We further analyze the usefulness of the data for two downstream tasks: 3D object detection and color-guided depth upsampling. We demonstrate that our dataset can help push the boundaries of existing state-of-the-art methods and it introduces new challenges that better represent real-world scenarios.

研究の動機と目的

• ARKitScenesの紹介、Appleの LiDAR を搭載した iPad Pro/iPhone によって撮影された大規模で多様な屋内RGB-Dデータセット。
• モバイルRGB-Dフレームに対して高精度のレーザースキャンで登録された地上真の深度マップを提供。
• 17の部屋定義家具カテゴリの向き付き3D境界ボックスを注釈。
• ARKitScenesを下流タスクで評価：3D物体検出とカラー誘導深度アップサンプリングを通じて実世界シナリオへの一般化をベンチマーク。

提案手法

• ARKitを活用したiPad ProでRGBとLiDARベースの深度、IMUを取得；地上 truthsとして高解像度のレーザースキャン（Faro Focus S70）を取得。
• Faro Sceneを用いてレーザースキャンを共通の会場座標系へ空間的登録。
• 携帯カメラフレームをレーザースキャン幾何に登録するため、合成ビューをレンダリングし、RANSACとPnPを用いた2D-3D特徴マッチングを行い、その後密なフォトメトリックリファインメントを実施。
• ARKitリコンストラクション上で17の家具カテゴリについて3D向き付き境界ボックスを手動で注釈。
• 会場レベルの分割に基づく80/10/10の訓練/検証/テスト分割を提供し、分割間でシーンの重複を排除。

実験結果

リサーチクエスチョン

• RQ1 ARKitScenesは家庭用モバイル深度センサと高品質な地上真の深度之间のドメインギャップをどのように橋渡しするのか？
• RQ2 ARKitScenesで訓練された最先端の3D物体検出と深度アップサンプリング手法は、モバイルLiDARで撮影された実世界の屋内環境に一般化できるのか？
• RQ3 実世界のARKitScenesは、多様性、遮蔽、深度アーティファクトの点で既存の屋内3Dシーン理解手法にどんな課題を投げかけるのか？

主な発見

• ARKitScenesはAppleのLiDARを用いてモバイルデバイスで収集された最大級の屋内RGB-Dデータセットで、5,048シーケンス、1,661シーンを含む。
• データセットには、Faroレーザースキャンとの正確な結합登録を介してモバイルRGB-Dフレームに登録された高解像度の地上真の深度マップが含まれる。
• 3D物体検出では、全シーン評価でVoteNet、H3DNet、MLCVNetと競合する性能を示し、17の家具カテゴリに対する屋内オブジェクトの位置推定に対するデータセットの有用性を示す。
• カラー誘導深度アップサンプリングでは、ARKitScenesで訓練された現代的なDNNベース手法（MSGとMSPF）が、古典的アプローチよりも鋭いエッジとより適切な構造を実現し、深度強化タスクにおけるデータセットの現実性と有用性を強調する。
• 著者はARKitScenesで標準化されたベンチマークを可能にするため、会場ごとの訓練/検証/テスト分割を提供する。