[论文解读] Learning Object Arrangements in 3D Scenes using Human Context

Jiang Yun, Marcus Lim+1 more|arXiv (Cornell University)|Jun 27, 2012

Advanced Image and Video Retrieval Techniques参考文献 22被引用 57

一句话总结

本文提出一种通过建模人类-物体交互（包括功能可用性、可达性及使用便捷性）来预测室内场景中3D物体布局的方法。采用在不同物体类型间共享参数的狄利克雷过程混合模型，学习人类姿态分布并推断最优物体摆放位置，实现了1.6米的平均预测误差，在真实场景布局任务中优于基线方法。

ABSTRACT

We consider the problem of learning object arrangements in a 3D scene. The key idea here is to learn how objects relate to human poses based on their affordances, ease of use and reachability. In contrast to modeling object-object relationships, modeling human-object relationships scales linearly in the number of objects. We design appropriate density functions based on 3D spatial features to capture this. We learn the distribution of human poses in a scene using a variant of the Dirichlet process mixture model that allows sharing of the density function parameters across the same object types. Then we can reason about arrangements of the objects in the room based on these meaningful human poses. In our extensive experiments on 20 different rooms with a total of 47 objects, our algorithm predicted correct placements with an average error of 1.6 meters from ground truth. In arranging five real scenes, it received a score of 4.3/5 compared to 3.7 for the best baseline method.

研究动机与目标

• 解决在室内环境中预测合理3D物体布局的挑战。
• 不通过物体-物体关系，而是通过人类-物体交互（如可达性和可用性）来建模物体布局。
• 通过利用人类姿态分布而非复杂物体-物体关系，实现高效扩展。
• 通过空间特征和以人为中心的先验知识，提升场景布局预测性能。
• 在真实室内场景中，通过定量分析与人工评估对性能进行评估。

提出的方法

• 该方法使用3D空间特征定义密度函数，以建模人类-物体交互，重点关注可达性和可用性。
• 采用狄利克雷过程混合模型的变体，学习人类姿态分布，并在相同物体类型间共享参数。
• 模型基于空间约束和物体功能，捕捉场景中具有意义的人类姿态分布。
• 通过推理学习到的人类姿态分布和空间约束，推断物体布局。
• 该方法与物体数量呈线性扩展，避免了物体-物体建模带来的组合复杂性。
• 系统采用概率框架，基于以人为中心的空间推理对合理物体摆放进行排序。

实验结果

研究问题

• RQ1 如何有效建模人类上下文以提升3D物体布局预测性能？
• RQ2 能否以一种可泛化的方式学习跨相似物体类型的人类姿态分布？
• RQ3 建模人类-物体交互是否能带来比物体-物体关系更准确、更真实的物体摆放结果？
• RQ4 与基线方法相比，该方法在真实室内场景中的表现如何？
• RQ5 该模型能否在具有不同物体集合的多样化室内环境中实现泛化？

主要发现

• 所提方法在20间不同房间、共47个物体的测试中，平均预测误差为1.6米。
• 在真实世界场景布局任务中，该方法在人工评估中获得4.3分（满分5分），显著优于最佳基线方法的3.7分。
• 狄利克雷过程混合模型中共享参数的使用，提升了在相似物体类型间的泛化能力。
• 通过建模人类-物体关系，实现了与物体数量的线性扩展，而复杂物体-物体关系模型则不具备此特性。
• 该方法在多样化室内环境（包括厨房、客厅和书房）中表现出强鲁棒性。
• 空间可用性与可达性特征的整合，显著提升了预测布局的现实感与合理性。