[论文解读] SceneSeer: 3D Scene Design with Natural Language

Anne Lynn S. Chang, Mihail Eric+2 more|arXiv (Cornell University)|Feb 28, 2017

Multimodal Machine Learning Applications参考文献 16被引用 19

一句话总结

SceneSeer 是一种用于交互式 3D 场景设计的自然语言接口，通过利用从 3D 场景和物体数据集中学习到的空间知识，从文本描述生成语义上合理的场景。它通过高层级的文本命令实现迭代优化，其生成场景的质量在人类评估中可与手动设计的场景相媲美。

ABSTRACT

Designing 3D scenes is currently a creative task that requires significant expertise and effort in using complex 3D design interfaces. This effortful design process starts in stark contrast to the easiness with which people can use language to describe real and imaginary environments. We present SceneSeer: an interactive text to 3D scene generation system that allows a user to design 3D scenes using natural language. A user provides input text from which we extract explicit constraints on the objects that should appear in the scene. Given these explicit constraints, the system then uses a spatial knowledge base learned from an existing database of 3D scenes and 3D object models to infer an arrangement of the objects forming a natural scene matching the input description. Using textual commands the user can then iteratively refine the created scene by adding, removing, replacing, and manipulating objects. We evaluate the quality of 3D scenes generated by SceneSeer in a perceptual evaluation experiment where we compare against manually designed scenes and simpler baselines for 3D scene generation. We demonstrate how the generated scenes can be iteratively refined through simple natural language commands.

研究动机与目标

• 使非专业用户能够使用自然语言创建并迭代优化 3D 场景，减少对复杂 3D 建模工具的依赖。
• 弥合用户高层意图（例如，'把碗放在桌上'）与 3D 场景生成中低层级几何操作之间的语义鸿沟。
• 从 3D 场景和模型语料库中学习并应用隐式空间知识（如典型物体布局和空间关系）。
• 通过自然语言命令（如添加、删除、替换和操作物体）支持交互式、增量式的场景编辑。
• 在人类评估中，将生成场景的感知质量与手工设计场景及更简单的基线方法进行对比。

提出的方法

• 使用自然语言处理技术将输入的自然语言描述解析为对物体和空间关系的显式约束。
• 利用从大规模 3D 场景和 3D 模型语料库中学习到的空间知识库，推断隐式约束和合理的物体布局。
• 通过空间关系解析和相对位置先验，解决模糊或不完整的描述（例如，'在桌上'意味着与表面接触）。
• 使用 3D 模型数据库中的物体模型，生成满足显式和推断约束的 3D 场景表示。
• 通过高层级文本命令（如'添加一把红椅子'或'把台灯移到沙发左侧'）支持迭代场景优化。
• 渲染并显示场景以供用户交互，实现实时反馈和进一步基于语言的编辑。

实验结果

研究问题

• RQ1 系统能否从自然语言描述生成在感知上与手工设计场景无法区分的 3D 场景？
• RQ2 隐式空间知识在多大程度上可以被学习并应用于解决 3D 场景生成中不完整或模糊的描述？
• RQ3 用户在多大程度上能通过高层级自然语言命令而非低层级几何操作来迭代优化 3D 场景？
• RQ4 所学习的空间先验（如支撑关系和典型物体摆放位置）在提升场景合理性方面起到什么作用？
• RQ5 在人类评估中，场景生成质量与更简单的基线方法和手工设计相比如何？

主要发现

• 人类评估者对 SceneSeer 生成的 3D 场景评分与手工设计场景相当，表明其具有较强的感知合理性。
• 该系统成功利用基于 3D 场景数据训练的知识库，推断出隐式空间约束（例如，蛋糕很可能放在桌上的盘子上），从而提升了场景的真实感。
• 空间关系解析和相对位置先验的使用显著提升了生成场景的质量，优于基线方法。
• 推断出的额外物体（例如，为蛋糕添加盘子）并未提高场景与描述匹配的评分，表明此类推断可能在感知上无益，或被视为错误。
• 该系统通过自然语言命令支持场景的交互式、迭代式优化，实现了类似对话的设计流程。
• 尽管在速度和领域覆盖方面仍存在当前局限，该框架证明了高层级、语言驱动的 3D 场景设计在强用户中心交互下的可行性。