[论文解读] Ctrl-Room: Controllable Text-to-3D Room Meshes Generation with Layout Constraints

Chuan Fang, Dong, Yuan+4 more|arXiv (Cornell University)|Oct 5, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

Ctrl-Room 提出了一种文本到3D房间网格生成框架，利用布局约束扩散模型，从自然语言提示生成高保真、几何上合理的3D房间网格。通过结合场景代码去噪网络、基于多视角扩散的外观生成流水线以及掩码引导的编辑模块，其在感知质量和3D结构完整性方面优于当前最先进方法。

ABSTRACT

Text-driven 3D indoor scene generation is useful for gaming, the film industry, and AR/VR applications. However, existing methods cannot faithfully capture the room layout, nor do they allow flexible editing of individual objects in the room. To address these problems, we present Ctrl-Room, which can generate convincing 3D rooms with designer-style layouts and high-fidelity textures from just a text prompt. Moreover, Ctrl-Room enables versatile interactive editing operations such as resizing or moving individual furniture items. Our key insight is to separate the modeling of layouts and appearance. Our proposed method consists of two stages: a Layout Generation Stage and an Appearance Generation Stage. The Layout Generation Stage trains a text-conditional diffusion model to learn the layout distribution with our holistic scene code parameterization. Next, the Appearance Generation Stage employs a fine-tuned ControlNet to produce a vivid panoramic image of the room guided by the 3D scene layout and text prompt. We thus achieve a high-quality 3D room generation with convincing layouts and lively textures. Benefiting from the scene code parameterization, we can easily edit the generated room model through our mask-guided editing module, without expensive edit-specific training. Extensive experiments on the Structured3D dataset demonstrate that our method outperforms existing methods in producing more reasonable, view-consistent, and editable 3D rooms from natural language prompts.

研究动机与目标

• 实现具有精确布局控制的可控、文本条件化3D房间网格生成。
• 解决从部分场景描述生成几何一致且视觉逼真的3D房间的挑战。
• 通过整合布局感知扩散建模与全景重建，提升3D结构完整性与感知质量。
• 通过掩码引导的图像修复与潜在空间优化流水线，支持3D房间网格的交互式编辑。
• 通过用户评估与定量比较，提供在2D全景质量与3D网格保真度方面均优于现有方法的框架。

提出的方法

• 基于IDDPM的场景代码去噪网络用于从噪声且不完整的文本提示中生成结构化3D场景代码，采用1D卷积U-Net架构与注意力模块以建模全局与语义上下文。
• 场景代码将墙壁与家具表示为带属性的节点：类别标签、3D中心、尺寸与方向（余弦与正弦表示），并通过填充保持固定节点数量。
• 基于多视角扩散模型（MVDiffusion）从布局条件化场景代码生成高保真、循环一致的RGB全景图，采用DDIM采样（100步）与90°旋转增强。
• 全景重建模块通过深度估计与表面重建将多视角图像融合为3D网格，实现完整的360°网格生成。
• 掩码引导编辑模块使用微调后的Control-Seg模型对编辑区域进行图像修复并优化潜在空间，保持纹理一致性，支持交互式场景编辑。
• 该框架将文本到全景图生成（通过Text2Light）、布局建模与3D网格重建整合为统一流水线，实现端到端可控3D房间生成。

实验结果

研究问题

• RQ1 基于扩散模型的模型能否在尊重布局约束的前提下，从部分文本描述中生成几何上合理的3D房间网格？
• RQ2 与无条件生成相比，布局感知场景代码去噪的集成在提升3D结构完整性与视觉保真度方面效果如何？
• RQ3 多视角扩散合成在多大程度上提升了3D房间生成中的全景一致性与视觉质量？
• RQ4 能否通过潜在空间优化与掩码引导图像修复有效支持3D房间网格的交互式编辑？
• RQ5 布局约束与多视角一致性在生成3D房间的感知质量与结构一致性方面起到了何种作用？

主要发现

• 在用户研究中，Ctrl-Room 在感知质量（平均得分4.3/5）与3D结构完整性（平均得分4.1/5）方面表现优异，显著优于Text2Room与MVDiffusion等基线方法。
• 该方法生成的全景图在布局合理性与伪影数量方面优于Text2Light（存在边界不一致问题）与MVDiffusion（无法恢复合理布局）。
• 采用带注意力模块的场景代码去噪网络，能有效从部分文本提示中建模空间关系与语义上下文。
• 结合90°旋转增强的多视角扩散流水线可生成循环一致的全景图，减少图像边界处的视觉伪影。
• 通过掩码引导模块实现的交互式编辑能有效保持纹理一致性，并实现逼真的场景修改，如定性结果所示。
• 该框架在卧室（N=23个节点）与客厅（N=45个节点）中均表现出强泛化能力，且在不同房间类型中保持一致性能。