[论文解读] ComplementMe: Weakly-Supervised Component Suggestions for 3D Modeling

Minhyuk Sung, Hao Su+3 more|arXiv (Cornell University)|Aug 6, 2017

3D Shape Modeling and Analysis参考文献 36被引用 9

一句话总结

ComplementMe 提出了一种弱监督深度学习框架，用于在基于装配的建模中建议互补的3D组件及其放置位置，该框架在未标记、不一致的零件仓库上进行训练，无需零件分割或标签。它联合学习零件嵌入与检索，通过对比损失实现，并预测合理互补组件的概率分布，同时仅基于几何信息回归零件放置，相较于最先进方法在新型基准上表现更优，且用户输入极少。

ABSTRACT

Assembly-based tools provide a powerful modeling paradigm for non-expert shape designers. However, choosing a component from a large shape repository and aligning it to a partial assembly can become a daunting task. In this paper we describe novel neural network architectures for suggesting complementary components and their placement for an incomplete 3D part assembly. Unlike most existing techniques, our networks are trained on unlabeled data obtained from public online repositories, and do not rely on consistent part segmentations or labels. Absence of labels poses a challenge in indexing the database of parts for the retrieval. We address it by jointly training embedding and retrieval networks, where the first indexes parts by mapping them to a low-dimensional feature space, and the second maps partial assemblies to appropriate complements. The combinatorial nature of part arrangements poses another challenge, since the retrieval network is not a function: several complements can be appropriate for the same input. Thus, instead of predicting a single output, we train our network to predict a probability distribution over the space of part embeddings. This allows our method to deal with ambiguities and naturally enables a UI that seamlessly integrates user preferences into the design process. We demonstrate that our method can be used to design complex shapes with minimal or no user input. To evaluate our approach we develop a novel benchmark for component suggestion systems demonstrating significant improvement over state-of-the-art techniques.

研究动机与目标

• 通过为部分装配体建议互补组件，实现仅需最少用户输入的自动、交互式3D建模。
• 解决在大规模形状仓库中缺乏一致零件标签或分割的情况下组件检索的挑战。
• 通过预测多个合理组件互补的可能分布，对模糊的设计选择进行建模。
• 仅基于新零件的几何形状，无需先前对齐或姿态监督，预测精确的组件放置位置。
• 在真实、弱监督条件下，开发一种用于评估组件建议系统的新型基准。

提出的方法

• 联合训练一个嵌入网络，将3D零件映射到低维潜在空间，以及一个检索网络，利用正负样本的三元组损失，将部分装配体映射到相关互补组件。
• 使用对比损失在嵌入空间中为正确与错误的互补组件设置边界，确保检索兼容性。
• 将检索输出建模为高斯混合模型，以预测合理组件的概率分布，支持多解建议。
• 训练一个独立的放置网络，仅基于部件的归一化几何形状和部分装配体，回归互补组件的6D姿态（位置与方向）。
• 将所有形状表示为无序点云，以确保与现有建模流程和多样化输入格式的兼容性。
• 利用在线仓库（如3D Warehouse）中的自然零件边界，基于连通组件和场景图，即使其不一致或未标记，也加以利用。

实验结果

研究问题

• RQ1 能否在未标记、不一致的零件仓库上有效训练组件建议系统，而无需语义零件标签或一致的分割？
• RQ2 如何使神经网络为单个部分装配体建模多个合理的组件互补，而非仅预测单一固定输出？
• RQ3 能否仅基于组件和部分装配体的几何形状预测零件放置，而无需姿态或对齐监督？
• RQ4 在弱监督条件下，所提出方法与最先进检索技术相比，在准确性和鲁棒性方面表现如何？
• RQ5 该系统在仅需最少或无需用户输入的情况下，能在多大程度上生成复杂且一致的装配体？

主要发现

• 所提方法在新型基准上优于最先进检索技术，显著提升了弱监督条件下的组件建议准确率。
• 检索网络在测试数据上的平均放置误差为0.12，对于飞机和吉他等类别，误差低至0.02，表明姿态预测具有高精度。
• 该模型在类别间泛化能力出色，当组合来自相似类别（如桌子、椅子、沙发）的组件时，能生成合理装配体，即使重复使用部件用于不同功能（如将桌腿用作椅臂）。
• 网络学习到的嵌入空间多样性高于MVCNN，如定性可视化所示，其不仅捕捉外观相似性，还体现功能与结构兼容性。
• 系统可仅通过最少用户输入，逐步生成复杂且一致的装配体，通过概率输出在每一步建议多个合理组件。
• 失败案例（如重叠或漂浮组件）主要源于对小型或细长结构组件建模不足，但可通过极少用户交互纠正。