[论文解读] IKEA-Manual: Seeing Shape Assembly Step by Step

Ruocheng Wang, Yunzhi Zhang+4 more|arXiv (Cornell University)|Feb 3, 2023

3D Surveying and Cultural Heritage被引用 5

一句话总结

本文提出了IKEA-Manual，一个包含102个真实世界IKEA家具3D模型及其人工设计的视觉组装手册的新数据集，包含细粒度标注，如零件分解、组装计划、手册图像分割以及2D-3D对应关系。该数据集支持对形状组装的结构化理解，并在四项任务中展示了其效用：组装计划生成、零件分割、位姿估计和3D零件组装，真实零件上的显著性能下降表明当前方法在合成基准之外的泛化能力仍需提升。

ABSTRACT

Human-designed visual manuals are crucial components in shape assembly activities. They provide step-by-step guidance on how we should move and connect different parts in a convenient and physically-realizable way. While there has been an ongoing effort in building agents that perform assembly tasks, the information in human-design manuals has been largely overlooked. We identify that this is due to 1) a lack of realistic 3D assembly objects that have paired manuals and 2) the difficulty of extracting structured information from purely image-based manuals. Motivated by this observation, we present IKEA-Manual, a dataset consisting of 102 IKEA objects paired with assembly manuals. We provide fine-grained annotations on the IKEA objects and assembly manuals, including decomposed assembly parts, assembly plans, manual segmentation, and 2D-3D correspondence between 3D parts and visual manuals. We illustrate the broad application of our dataset on four tasks related to shape assembly: assembly plan generation, part segmentation, pose estimation, and 3D part assembly.

研究动机与目标

• 为解决现有数据集中缺乏与人工设计的视觉手册配对的真实3D组装对象的问题。
• 通过将非结构化的手册图像转化为机器可理解的组装流程，弥合人类可读的视觉手册与机器可解释的组装过程之间的差距。
• 通过将3D零件与2D手册投影以多级细粒度标注链接，为形状组装研究开辟新的方向。
• 支持组装规划、零件分割、位姿估计和3D零件组装等任务的模型开发与基准测试。
• 揭示当前模型从合成基准（如PartNet）泛化到真实世界零件分解时的局限性。

提出的方法

• 从现有资源库中收集102个3D IKEA家具模型，并将其与IKEA官网提供的官方组装手册配对。
• 每个3D模型均按手册中的分步说明分解为基本零件，并标注其连接关系。
• 通过人工识别每一步中连接的零件，并对手册图像中3D零件的2D投影进行分割，将组装手册解析为结构化格式。
• 在3D零件及其2D投影上标注关键点，以计算3D位姿并建立2D-3D对应关系。
• 该数据集支持四项任务：组装计划生成、零件分割、位姿估计和3D零件组装，使用相同的标注数据进行评估。
• 对先前工作的基线模型（如RGL-Net、Huang et al.）在该数据集上进行评估，以衡量其在真实世界零件上的泛化性能。

实验结果

研究问题

• RQ1 包含真实世界3D家具模型与配对人工设计视觉手册的数据集，是否能实现更真实且结构化的形状组装学习？
• RQ2 现有零件组装模型在真实世界零件分解上的泛化能力如何，相较于合成基准表现如何？
• RQ3 视觉手册中细粒度的2D-3D对应关系在多大程度上能提升零件分割与位姿估计性能？
• RQ4 能否利用从手册中提取的结构化组装计划来训练高层级组装规划模型？
• RQ5 当前模型在应用于真实世界零件分解时存在哪些局限性？与合成基准相比有何不同？

主要发现

• 当在IKEA-Manual上评估时，现有零件组装模型的性能显著下降，与PartNet相比，RGL-Net*的零件准确率从49.06%降至3.99%，下降了75%。
• 形状Chamfer距离（CD）从PartNet上的0.0087上升至IKEA-Manual上的0.0508，表明在真实世界零件上的重建质量更差。
• 零件准确率的下降幅度超过形状CD，表明模型虽能形成合理的整体形状，但在语义零件识别上仍存在困难。
• 基线模型Huang et al. [4]在IKEA-Manual上的零件准确率为6.90%，远低于其在PartNet上的39.96%，凸显了泛化失败的问题。
• 该数据集揭示，如PartNet等基准中使用的简化、合成化零件无法捕捉真实世界零件的复杂性与多样性，限制了模型的鲁棒性。
• 结果表明，当前在合成数据上训练的模型无法泛化到真实世界零件分解，凸显了像IKEA-Manual这样的数据集在弥合这一差距中的必要性。