[论文解读] Fast 3D Indoor Scene Synthesis with Discrete and Exact Layout Pattern Extraction

Song–Hai Zhang, Shao-Kui Zhang+3 more|arXiv (Cornell University)|Feb 2, 2020

3D Surveying and Cultural Heritage参考文献 44被引用 11

一句话总结

本文提出了一种快速的3D室内场景合成框架，利用完全空间随机性（CSR）检验从物体关系中提取离散、精确的布局模式，实现在数秒内高效且逼真的场景生成。通过基于统计显著的空间模式对物体进行分组，并利用Hausdorff度量优化布局，该方法在速度和真实感方面优于现有的数据驱动方法，同时避免了模型拟合带来的噪声。

ABSTRACT

We present a fast framework for indoor scene synthesis, given a room geometry and a list of objects with learnt priors. Unlike existing data-driven solutions, which often extract priors by co-occurrence analysis and statistical model fitting, our method measures the strengths of spatial relations by tests for complete spatial randomness (CSR), and extracts complex priors based on samples with the ability to accurately represent discrete layout patterns. With the extracted priors, our method achieves both acceleration and plausibility by partitioning input objects into disjoint groups, followed by layout optimization based on the Hausdorff metric. Extensive experiments show that our framework is capable of measuring more reasonable relations among objects and simultaneously generating varied arrangements in seconds.

研究动机与目标

• 解决基于共现性的先验在3D场景合成中的局限性，后者无法捕捉真实的拓扑关系，常导致不合理的布局。
• 克服将空间关系拟合到高斯混合模型（GMM）等参数模型时引入的噪声和模型偏差。
• 开发一种从数据中提取离散、精确布局模式的方法，无需假设特定形状或分布。
• 通过基于强空间先验将物体划分为一致的组，减少搜索空间和计算量，从而加速场景合成。
• 在每场景3秒内生成多样、合理且经人工评估的逼真室内场景。

提出的方法

• 该方法使用完全空间随机性（CSR）检验来衡量物体对之间的空间关系强度，识别出具有统计显著性而非仅频繁出现的模式。
• 应用密度峰值聚类从空间构型中提取离散、精确的布局模板，无需引入异常值即可保留复杂、非椭圆的模式。
• 基于共享的空间模式将物体划分为互不相交的集合，降低布局优化的复杂度。
• 通过Hausdorff度量进行布局优化，将物体排列与提取出的离散模板对齐，确保几何保真度。
• 框架利用基于位置的动力学（PBD）实现快速模拟，无需迭代MCMC采样，支持实时合成。
• 整个流程为数据驱动，无需每次合成时的用户输入，具备良好的可扩展性和效率。

实验结果

研究问题

• RQ1 在3D室内场景合成中，CSR检验能否提供比共现频率更可靠的时空关系度量？
• RQ2 能否在不假设GMM等参数形式的前提下，从真实世界数据中有效提取离散、精确的布局模式？
• RQ3 基于统计显著空间模式对物体进行分组，能否实现更快且更合理的场景合成？
• RQ4 所提方法能否在3秒内生成多样、逼真且保持高审美质量的室内场景？
• RQ5 与共现和模型拟合方法相比，基于CSR的方法在捕捉人类直觉的空间布局方面表现如何？

主要发现

• 对于包含最多35个物体的场景，该方法合成时间低于2.5秒，显著优于需要超过2000秒的MCMC基线方法。
• 在用户研究中，88.55%的CSR排序空间关系被认为与真实生活布局一致，而基于共现的排序仅43.53%一致。
• 该框架成功提取了复杂、非椭圆的布局模式——例如，扬声器相对于沙发的四重对称布局——且未引入异常值。
• 生成场景的平均审美得分为3.194（满分5分），与真实场景（3.276）相近，表明具有较强的视觉合理性。
• 基于CSR的分组通过过滤掉尽管共现频率高但呈随机分布的物体对，减少了不必要的计算，提升了布局质量。
• 该方法在多种房间类型中表现出良好的泛化能力，包括融合多种家具类型的混合型房间，展现出鲁棒性和可扩展性。