[论文解读] LayoutMP3D: Layout Annotation of Matterport3D

Fu-En Wang, Yu-Hsuan Yeh+3 more|arXiv (Cornell University)|Mar 30, 2020

Robotics and Sensor-Based Localization参考文献 19被引用 8

一句话总结

本文介绍了LayoutMP3D，这是一个新数据集，为Matterport3D的一个子集提供了标注的3D布局真实值，该子集已包含来自飞行时间（ToF）传感器的高精度深度图。通过结合布局和深度标注，该数据集支持360°场景理解的联合学习，通过整合几何与空间推理，提升室内环境中机器人导航与感知的性能。

ABSTRACT

Inferring the information of 3D layout from a single equirectangular panorama is crucial for numerous applications of virtual reality or robotics (e.g., scene understanding and navigation). To achieve this, several datasets are collected for the task of 360 layout estimation. To facilitate the learning algorithms for autonomous systems in indoor scenarios, we consider the Matterport3D dataset with their originally provided depth map ground truths and further release our annotations for layout ground truths from a subset of Matterport3D. As Matterport3D contains accurate depth ground truths from time-of-flight (ToF) sensors, our dataset provides both the layout and depth information, which enables the opportunity to explore the environment by integrating both cues.

研究动机与目标

• 解决缺乏同时提供360°室内场景理解中深度和布局真实值的数据集的问题。
• 通过结合两种互补来源——Matterport3D的高精度深度图与人工标注的布局结构——实现深度与布局估计的联合学习。
• 通过提供高质量、多样化的数据集，同时包含这两种线索，支持机器人和虚拟现实中更鲁棒的感知系统开发。
• 通过发布具有统一、高保真标注的公开数据集，促进集成360°场景理解的研究。
• 鼓励探索深度与布局之间的多模态融合，以提升3D场景重建与导航性能。

提出的方法

• 选取了Matterport3D中已包含来自飞行时间（ToF）传感器的高精度深度真实值的全景图子集。
• 使用DuLa-Net标注工具人工标注3D布局结构，重点关注曼哈顿风格房间（如长方体、L形）并排除非曼哈顿情况。
• 通过在等距投影全景图中标注角点和边界线来生成布局标注，分别表示地板、墙面和天花板平面。
• 通过使用相同的全景图和空间坐标，确保布局与深度标注的一致性。
• 通过GitHub公开发布数据集，网址为 https://github.com/fuenwang/LayoutMP3D，供社区使用。
• 提供训练集（1,830张）和测试集（455张），涵盖不同布局复杂度（4至10个以上角点）。

实验结果

研究问题

• RQ1 能否创建一个大规模、公开可用的数据集，将360°室内场景的深度和布局标注结合起来？
• RQ2 同时提供深度和布局真实值如何提升360°场景理解模型的性能？
• RQ3 Matterport3D捕获的真实世界室内环境中，布局复杂度（如角点数量）的分布如何？
• RQ4 深度与布局的联合学习在多大程度上能提升机器人和虚拟现实中导航与场景理解的性能？
• RQ5 在大规模范围内为等距投影全景图标注3D布局面临哪些实际挑战？

主要发现

• LayoutMP3D数据集包含2,285张带有深度和布局真实值的标注全景图，其中1,830张用于训练，455张用于测试。
• 该数据集涵盖了多种多样的布局类型，其中1,243张全景图具有4个角点，515张具有6个角点，308张具有8个角点，219张具有10个或以上角点。
• 该数据集已通过 https://github.com/fuenwang/LayoutMP3D 公开发布，支持联合360°深度与布局估计的开放研究。
• 通过结合Matterport3D的ToF深度图与人工标注的布局，LayoutMP3D为多模态360°场景理解提供了独特资源。
• 该数据集使能够探索此前因缺乏对齐数据而未被充分研究的深度与布局线索的联合利用，开启新的研究方向。
• 同时包含这两种线索可支持更鲁棒、更具语义信息的场景理解，尤其在室内环境的导航与3D重建方面具有显著优势。