[论文解读] ARKitScenes: A Diverse Real-World Dataset For 3D Indoor Scene Understanding Using Mobile RGB-D Data

Gilad Baruch, Zhuoyuan Chen+9 more|arXiv (Cornell University)|Nov 16, 2021

3D Surveying and Cultural Heritage被引用 33

一句话总结

ARKitScenes 提供首个在手持设备上使用 Apple 的 LiDAR 捕捉的大规模室内 RGB-D 数据集，涵盖 5,048 条序列，1,661 个场景，以及高分辨率的真值深度和 3D 边界框，用于基准 3D 目标检测和颜色引导的深度上采样。

ABSTRACT

Scene understanding is an active research area. Commercial depth sensors, such as Kinect, have enabled the release of several RGB-D datasets over the past few years which spawned novel methods in 3D scene understanding. More recently with the launch of the LiDAR sensor in Apple's iPads and iPhones, high quality RGB-D data is accessible to millions of people on a device they commonly use. This opens a whole new era in scene understanding for the Computer Vision community as well as app developers. The fundamental research in scene understanding together with the advances in machine learning can now impact people's everyday experiences. However, transforming these scene understanding methods to real-world experiences requires additional innovation and development. In this paper we introduce ARKitScenes. It is not only the first RGB-D dataset that is captured with a now widely available depth sensor, but to our best knowledge, it also is the largest indoor scene understanding data released. In addition to the raw and processed data from the mobile device, ARKitScenes includes high resolution depth maps captured using a stationary laser scanner, as well as manually labeled 3D oriented bounding boxes for a large taxonomy of furniture. We further analyze the usefulness of the data for two downstream tasks: 3D object detection and color-guided depth upsampling. We demonstrate that our dataset can help push the boundaries of existing state-of-the-art methods and it introduces new challenges that better represent real-world scenarios.

研究动机与目标

• 介绍 ARKitScenes，一个在 iPad Pro/iPhone 上使用 Apple’s LiDAR 捕获的大规模、多样化室内 RGB-D 数据集。
• 通过高精度激光扫描提供注册到移动 RGB-D 帧的地面真值深度图。
• 为 17 种房间定义家具类别标注定向的 3D 边界框。
• 在下游任务上评估 ARKitScenes：3D 目标检测和颜色引导的深度上采样，以基准化对现实世界场景的泛化。

提出的方法

• 使用 iPad Pro 捕获数据，利用 ARKit 提供 RGB 和基于 LiDAR 的深度以及 IMU；获取高分辨率激光扫描（Faro Focus S70）作为地面真值。
• 使用 Faro Scene 将激光扫描在空间上注册到一个公共场地坐标系统中。
• 通过渲染合成视图并使用 RANSAC 和 PnP 进行 2D-3D 特征匹配，将手持相机帧注册到激光扫描几何体，随后进行密集光度优化。
• 在 ARKit 重建上手动标注 17 种家具类别的定向 3D 边界框。
• 提供基于场地级分区的 80/10/10 训练/验证/测试划分，以确保跨划分的场景不重叠。

实验结果

研究问题

• RQ1 ARKitScenes 如何在面向消费者的移动深度感知与室内场景的高质量地面真值深度之间搭建桥梁？
• RQ2 在 ARKitScenes 上训练的最先进 3D 目标检测和深度上采样方法，是否能够泛化到用移动 LiDAR 捕捉的真实世界室内环境？
• RQ3 现实世界的 ARKitScenes 在多样性、遮挡和深度伪影方面给现有室内 3D 场景理解方法带来了哪些挑战？

主要发现

• ARKitScenes 是使用移动设备搭载 Apple’s LiDAR 收集的最大室内 RGB-D 数据集，涵盖 5,048 条序列，1,661 个场景。
• 该数据集包含通过与 Faro 激光扫描的精确联合注册获得的移动 RGB-D 帧的高分辨率地面真值深度图。
• 对于 3D 目标检测，整场景评估显示与 VoteNet、H3DNet 和 MLCVNet 相当的性能，说明该数据集在 17 种家具类别的室内目标定位方面的实用性。
• 对于颜色引导的深度上采样，基于 DNN 的现代方法（MSG 和 MSPF）在 ARKitScenes 上训练，能获得比传统方法更清晰的边缘和更好的结构，凸显数据集在深度增强任务中的真实感和实用性。
• 作者提供了每个场地的训练/验证/测试划分，以实现对 ARKitScenes 的标准化基准测试。）