[论文解读] 3D-FRONT: 3D Furnished Rooms with layOuts and semaNTics

Huan Fu, Bowen Cai+8 more|arXiv (Cornell University)|Nov 18, 2020

Advanced Vision and Imaging参考文献 44被引用 15

一句话总结

3D-FRONT 是一个大规模的合成 3D 室内场景数据集，包含 18,968 间由专业设计的、配备高质量纹理 3D 家具的房间。它利用推荐系统确保家具风格的一致性，并发布了 Trescope，一个轻量级渲染工具，相较于 SUNCG 和 ShapeNet 等先前的数据集，在场景和纹理生成的逼真度与一致性方面支持更高级的应用。

ABSTRACT

We introduce 3D-FRONT (3D Furnished Rooms with layOuts and semaNTics), a new, large-scale, and comprehensive repository of synthetic indoor scenes highlighted by professionally designed layouts and a large number of rooms populated by high-quality textured 3D models with style compatibility. From layout semantics down to texture details of individual objects, our dataset is freely available to the academic community and beyond. Currently, 3D-FRONT contains 18,968 rooms diversely furnished by 3D objects, far surpassing all publicly available scene datasets. In addition, the 13,151 furniture objects all come with high-quality textures. While the floorplans and layout designs are directly sourced from professional creations, the interior designs in terms of furniture styles, color, and textures have been carefully curated based on a recommender system we develop to attain consistent styles as expert designs. Furthermore, we release Trescope, a light-weight rendering tool, to support benchmark rendering of 2D images and annotations from 3D-FRONT. We demonstrate two applications, interior scene synthesis and texture synthesis, that are especially tailored to the strengths of our new dataset. The project page is at: https://tianchi.aliyun.com/specials/promotion/alibaba-3d-scene-dataset.

研究动机与目标

• 为解决 SUNCG 停止发布后缺乏大规模、高质量且风格一致的 3D 室内场景数据集的问题。
• 提供一个全面的、公开可访问的 3D 布置房间仓库，包含丰富的语义标注和专业级纹理。
• 通过提供一个逼真、多样化且风格一致的数据集，支持 3D 场景生成与纹理生成的数据驱动应用。
• 通过发布 Trescope —— 一个轻量级渲染框架，支持 3D-FRONT 的渲染与合成工具开发。
• 在布局质量、纹理保真度和家具风格一致性方面超越现有数据集。

提出的方法

• 使用真实室内设计模板中的专业设计平面图和房间布局构建数据集。
• 家具对象选自 3D-FUTURE，一个用于工业生产的高质量 3D 家具数据集。
• 通过在专家室内设计上训练的推荐系统，确保每个场景中所有家具在几何与纹理风格上的兼容性。
• 发布 Trescope，一个轻量级渲染工具，用于支持从 3D-FRONT 生成 2D 图像和标注的基准渲染。
• 通过使用参考物体的 VGG 特征来对其他物体的纹理生成进行条件控制，实现场景内一致的纹理生成。
• 将生成模型如 TM-Net 扩展至 3D 场景级纹理生成，通过基于特征的引导强制实现纹理一致性。

实验结果

研究问题

• RQ1 一个包含专业设计布局和高质量、风格一致纹理的大规模合成 3D 室内场景数据集，是否能在场景生成方面超越现有数据集？
• RQ2 家具选择中的风格一致性在多大程度上提升了合成室内场景的逼真度与合理性？
• RQ3 与在通用数据集（如 ShapeNet）上训练相比，像 3D-FRONT 这样的数据集能否显著提升 3D 场景中纹理生成的质量与多样性？
• RQ4 使用场景上下文和基于特征的条件控制，如何改善场景中多个 3D 物体之间的纹理一致性？
• RQ5 像 Trescope 这样的轻量级渲染工具，能否有效支持 3D 场景应用的基准测试与可复现性？

主要发现

• 在用户研究中，基于 3D-FRONT 训练的模型在场景合理性方面获得了 64.8% 的偏好率，优于基于 SUNCG 的合成结果，表明其具备更高的逼真度与布局质量。
• 在 3D-FRONT 上训练的 TM-Net 在纹理多样性方面取得了 0.289 的 LPIPS 分数，优于在 ShapeNet 上训练的模型（0.215），证明其具备更丰富的纹理生成能力。
• 在用户研究中，61.1% 的参与者更偏好从 3D-FRONT 生成的纹理，而非来自 ShapeNet 的纹理，证实了其在视觉丰富度与一致性方面的提升。
• 3D-FRONT 包含 18,968 间独特布置的房间，配备 13,151 个高质量纹理 3D 家具模型，在规模与质量上均超越所有公开可用的数据集。
• 数据集的专业布局设计与风格一致的家具选择显著提升了生成室内场景的视觉保真度与真实感。
• Trescope 支持高效且一致的 2D 渲染与标注提取，为 3D 场景应用提供了可复现的基准测试支持。