[论文解读] OpenRooms: An End-to-End Open Framework for Photorealistic Indoor Scene Datasets

Zhengqin Li, Ting-Wei Yu+15 more|arXiv (Cornell University)|Jul 25, 2020

Advanced Vision and Imaging参考文献 53被引用 13

一句话总结

OpenRooms 引入了一种开放的、端到端的框架，用于生成大规模、逼真的室内场景数据集，提供高保真度的真实值，涵盖几何、空间变化的BRDF、光照（包括直接/间接光照、可见性及每光源贡献）、语义信息。通过利用主流RGBD扫描数据和自定义的GPU加速物理渲染器，该框架支持训练深度神经网络用于逆向渲染、语义分割以及机器人仿真，实现从真实到模拟的对应，实现在真实图像上的最先进性能。

ABSTRACT

We propose a novel framework for creating large-scale photorealistic datasets of indoor scenes, with ground truth geometry, material, lighting and semantics. Our goal is to make the dataset creation process widely accessible, transforming scans into photorealistic datasets with high-quality ground truth for appearance, layout, semantic labels, high quality spatially-varying BRDF and complex lighting, including direct, indirect and visibility components. This enables important applications in inverse rendering, scene understanding and robotics. We show that deep networks trained on the proposed dataset achieve competitive performance for shape, material and lighting estimation on real images, enabling photorealistic augmented reality applications, such as object insertion and material editing. We also show our semantic labels may be used for segmentation and multi-task learning. Finally, we demonstrate that our framework may also be integrated with physics engines, to create virtual robotics environments with unique ground truth such as friction coefficients and correspondence to real scenes. The dataset and all the tools to create such datasets will be made publicly available.

研究动机与目标

• 为解决缺乏大规模、逼真室内场景数据集，且该数据集缺乏外观、几何、光照和材质的全面真实值这一问题。
• 使研究人员能够使用主流3D传感器和开源工具，轻松创建高质量数据集。
• 支持在机器人技术和增强现实领域中实现精确的逆向渲染、语义分割以及仿真到真实世界的迁移。
• 提供支持复杂光传输效应（如互反射、柔和阴影和可见性感知光照）的框架。
• 通过引入物理上准确、空间变化的BRDF和光照表示，扩展合成数据集，以提升真实感和下游任务性能。

提出的方法

• 该框架以主流传感器获取的RGBD扫描为起点，利用对齐技术重建一致的房间和家具布局。
• 基于基于微表面的模型，输入反照率、法线和粗糙度，为每个像素分配空间变化的BRDF。
• 光照使用物理基础的表示方法建模，包括环境贴图、面光源和窗户平面，通过光线追踪处理可见性和遮挡。
• 采用基于OptiX的自定义GPU渲染器，利用多重重要性采样高效处理小光源和复杂光照，生成逼真的图像。
• 通过在渲染过程中隔离各个光源，提供每光源贡献的真实值，包括直接光照、间接光照和遮挡光照分量。
• 该框架与物理引擎（如PyBullet）集成，将SVBRDF映射为摩擦系数，实现具有真实物理特性的机器人仿真。

实验结果

研究问题

• RQ1 一个可扩展的、开源的框架能否从低成本RGBD扫描中生成具有完整几何、材质和光照真实值的逼真室内场景？
• RQ2 在OpenRooms上训练的深度神经网络在真实图像上进行逆向渲染任务（如形状、材质和光照估计）时，泛化能力如何？
• RQ3 OpenRooms中的语义和物理标注在多任务学习和语义分割中能将性能提升到何种程度？
• RQ4 该数据集能否支持高级增强现实应用，如对象插入和材质编辑，并实现逼真的视觉保真度？
• RQ5 当将OpenRooms资源集成到基于物理的机器人仿真器中，并提供真实摩擦和光照数据时，仿真到真实世界的迁移效果如何？

主要发现

• OpenRooms数据集包含超过100,000张HDR图像，每像素均提供深度、法线、SVBRDF、光照、可见性和语义的真实值。
• 在OpenRooms上训练的深度神经网络在真实图像上的形状、材质和光照估计任务中表现出色，支持实现逼真的增强现实应用。
• 该数据集支持每光源贡献的监督，为未来在光照编辑和复杂光照操控方面的应用提供可能。
• OpenRooms的语义标签在语义分割和多任务学习中表现优异，显著提升了跨任务的泛化能力。
• 与PyBullet的集成使得能够创建具有准确物理属性的虚拟机器人环境，包括基于SVBRDF推导出的摩擦系数。
• 开源工具支持社区驱动的数据集扩展，涵盖初始发布范围之外的多样化材质和几何结构。