[论文解读] SceneSuggest: Context-driven 3D Scene Design

Manolis Savva, Anne Lynn S. Chang+1 more|arXiv (Cornell University)|Feb 28, 2017

Advanced Image and Video Retrieval Techniques参考文献 18被引用 10

一句话总结

SceneSuggest 是一种交互式 3D 场景设计系统，利用从现有 3D 场景中学习到的数据驱动空间先验知识，为 3D 模型的放置与方向提供上下文感知的点按式建议。与基于关键词搜索和手动选择相比，该系统将建模时间减少了 32%，文本查询次数减少了 50%，其中方向先验知识使重新定位时间减少了 27%。

ABSTRACT

We present SceneSuggest: an interactive 3D scene design system providing context-driven suggestions for 3D model retrieval and placement. Using a point-and-click metaphor we specify regions in a scene in which to automatically place and orient relevant 3D models. Candidate models are ranked using a set of static support, position, and orientation priors learned from 3D scenes. We show that our suggestions enable rapid assembly of indoor scenes. We perform a user study comparing suggestions to manual search and selection, as well as to suggestions with no automatic orientation. We find that suggestions reduce total modeling time by 32%, that orientation priors reduce time spent re-orienting objects by 27%, and that context-driven suggestions reduce the number of text queries by 50%.

研究动机与目标

• 通过减少对手动模型检索与放置的依赖，降低 3D 场景设计的入门门槛。
• 克服传统 3D 设计工具依赖重复的 3D 操作或固定层级列表的局限性。
• 利用现有 3D 场景数据学习物体支撑、位置和方向的空间先验知识，以指导智能建议。
• 通过在交互式设计过程中集成上下文相关、实时的建议，提升用户在 3D 场景组装中的效率与满意度。
• 通过受控用户研究，评估上下文驱动建议相较于手动搜索和无方向建议的有效性。

提出的方法

• 从大量现有 3D 场景中使用数据驱动学习方法提取关于物体支撑、位置和方向的静态先验知识。
• 将上下文查询表示为点按操作，用户通过指定区域实现模型的自动建议与放置。
• 利用学习到的先验知识对候选 3D 模型进行排序，以基于场景上下文预测合理的物体放置位置。
• 集成方向先验知识，自动建议正确的物体旋转方向，最大限度减少手动重新定位操作。
• 实现一个实时建议引擎，随着用户放置查询点动态更新建议结果。
• 通过用户研究将 SceneSuggest 与关键词搜索和固定列表选择进行对比，测量建模时间、查询次数和用户满意度。

实验结果

研究问题

• RQ1 上下文驱动的 3D 模型建议是否能显著减少组装室内场景所需的时间？
• RQ2 方向先验知识在多大程度上减少了场景组装过程中手动重新定位物体所需的努力？
• RQ3 与基于关键词的搜索相比，上下文建议在减少文本查询次数方面的有效性如何？
• RQ4 空间先验知识的整合是否提升了用户在 3D 场景设计中的满意度和自我效能感？
• RQ5 用户如何评价点按式上下文建议界面相较于传统浏览器方式的直观性与可用性？

主要发现

• 在用户研究中，SceneSuggest 相较于关键词搜索和手动选择，将总建模时间减少了 32%。
• 方向先验知识使重新定位物体所花费的时间减少了 27%，显著提升了工作流程效率。
• 与基于关键词的搜索相比，上下文建议将文本查询次数减少了 50%，表明其在语义引导方面更具优势。
• 用户对上下文查询界面的满意度评分为 4.17/5，自我效能感评分为 4.38/5，均高于基线条件。
• 二十名参与者中有九名明确表示更偏好上下文查询界面，认为其比传统浏览器方式更具直观性。
• 该系统证明，对支撑、位置和方向的数据驱动先验知识能够有效指导实时、交互式的 3D 场景组装。