[论文解读] Combinatorial 3D Shape Generation via Sequential Assembly

Jungtaek Kim, Hyunsoo Chung+3 more|arXiv (Cornell University)|Apr 16, 2020

3D Shape Modeling and Analysis参考文献 44被引用 7

一句话总结

本文提出了一种基于贝叶斯优化的框架，通过几何基元的顺序组装实现组合式3D形状生成，解决了形状合成中的组合爆炸问题。通过将全局形状引导和物理稳定性整合到评估函数中，该方法高效探索了可行的基元组合，实现了样本高效的、逼真的3D形状生成，并引入了一个包含14个类别、406个实例的新数据集以用于基准测试。

ABSTRACT

Sequential assembly with geometric primitives has drawn attention in robotics and 3D vision since it yields a practical blueprint to construct a target shape. However, due to its combinatorial property, a greedy method falls short of generating a sequence of volumetric primitives. To alleviate this consequence induced by a huge number of feasible combinations, we propose a combinatorial 3D shape generation framework. The proposed framework reflects an important aspect of human generation processes in real life -- we often create a 3D shape by sequentially assembling unit primitives with geometric constraints. To find the desired combination regarding combination evaluations, we adopt Bayesian optimization, which is able to exploit and explore efficiently the feasible regions constrained by the current primitive placements. An evaluation function conveys global structure guidance for an assembly process and stability in terms of gravity and external forces simultaneously. Experimental results demonstrate that our method successfully generates combinatorial 3D shapes and simulates more realistic generation processes. We also introduce a new dataset for combinatorial 3D shape generation. All the codes are available at \url{https://github.com/POSTECH-CVLab/Combinatorial-3D-Shape-Generation}.

研究动机与目标

• 解决在组装几何基元时3D形状生成中的组合爆炸问题。
• 通过几何约束和稳定性考虑，建模类人顺序组装过程。
• 开发一种样本高效的算法，避免在巨大组合空间中进行暴力搜索。
• 引入一个新的基准数据集，用于组合式3D形状生成，支持顺序基元组装。
• 在全局结构和物理力的引导下，实现逼真且稳定的3D形状生成。

提出的方法

• 该方法使用贝叶斯优化迭代选择下一个基元放置位置，在搜索空间中平衡探索与利用。
• 评估函数结合了全局形状引导（如高度、宽度、深度、连接凸起）和物理稳定性（重力和外力）。
• 该框架包含回滚机制，当性能在连续多步中停滞时触发，以逃离局部最优。
• 系统通过禁止重复放置并限制最多五次连续回滚，防止无限回滚。
• 该方法将组装过程建模为一系列受约束的基元放置，通过重叠和接触检测进行验证。
• 该方法采用可微分的评估函数，支持零件采样、移除和序列操作。

实验结果

研究问题

• RQ1 贝叶斯优化能否有效应对使用几何基元进行3D形状生成时的组合爆炸问题？
• RQ2 如何联合建模全局形状结构和物理稳定性，以引导逼真的3D形状组装？
• RQ3 顺序组装框架在多大程度上能模拟类人的3D形状构建过程？
• RQ4 一个包含顺序性、可分解性和可操作性的基元序列的新数据集，能否作为组合式3D生成的可行基准？
• RQ5 与基线方法相比，所提方法在样本效率和收敛至最优配置方面表现如何？

主要发现

• 所提方法通过类人顺序组装过程，使用118个单位基元成功生成了如汽车等复杂3D形状。
• 在四项评估实验中，该方法均优于基线模型，结果最接近理想性能（oracle performance）。
• 该框架通过避免暴力枚举，展现出样本效率，即使在五块2×4乐高砖块超过5900万个组合的情况下亦然。
• 新提出的组合式3D形状数据集包含14个类别共406个实例，支持顺序生成、验证和零件采样。
• 回滚机制有效防止了无限循环，并通过回退无成效序列提升了收敛性。
• 物理稳定性与全局形状引导的整合，使得生成的3D形状组装更加逼真且符合物理规律。