[论文解读] MRGAN: Multi-Rooted 3D Shape Generation with Unsupervised Part Disentanglement

Rinon Gal, Amit H. Bermano+2 more|arXiv (Cornell University)|Jul 25, 2020

3D Shape Modeling and Analysis参考文献 3被引用 5

一句话总结

MRGAN 提出了一种新颖的3D形状生成框架，通过无监督学习将形状解耦为多个根部部件，实现一致且局部化的形状编辑。通过利用带有根部丢弃和凸性正则化的多根图卷积网络，该方法实现了解耦且语义有意义的部件生成，支持局部修改，并通过定性和定量的消融研究得到验证。

ABSTRACT

We present MRGAN, a multi-rooted adversarial network which generates part-disentangled 3D point-cloud shapes without part-based shape supervision. The network fuses multiple branches of tree-structured graph convolution layers which produce point clouds, with learnable constant inputs at the tree roots. Each branch learns to grow a different shape part, offering control over the shape generation at the part level. Our network encourages disentangled generation of semantic parts via two key ingredients: a root-mixing training strategy which helps decorrelate the different branches to facilitate disentanglement, and a set of loss terms designed with part disentanglement and shape semantics in mind. Of these, a novel convexity loss incentivizes the generation of parts that are more convex, as semantic parts tend to be. In addition, a root-dropping loss further ensures that each root seeds a single part, preventing the degeneration or over-growth of the point-producing branches. We evaluate the performance of our network on a number of 3D shape classes, and offer qualitative and quantitative comparisons to previous works and baseline approaches. We demonstrate the controllability offered by our part-disentangled generation through two applications for shape modeling: part mixing and individual part variation, without receiving segmented shapes as input.

研究动机与目标

• 实现无监督3D形状解耦，将其分解为语义上有意义的部件，而无需部件标注。
• 通过建模代表形状不同部分的多个根部，生成一致的3D形状。
• 确保局部修改：改变一个根部仅影响其对应部件，同时保持整体形状完整性。
• 通过新型损失函数（根部丢弃和凸性正则化）提升部件解耦效果。
• 通过在ShapeNet上的定性和定量评估，验证该方法的有效性。

提出的方法

• 生成器采用多根树形图卷积网络（TreeGCN）架构，其中每个根部代表形状的一个部件，包含学习得到的根部常数和共享的特征处理机制。
• 特征共享层通过最大池化、密集投影和1D卷积聚合全局特征，实现在保留局部结构的同时促进部件间信息交互。
• 模型采用根部丢弃损失，以鼓励每个根部承担独特角色，减少冗余部件。
• 应用凸性损失，确保每个根部对应形状中一个凸的、有意义的部件。
• 引入辅助的外壳距离网络，为每个点预测到凸包的距离，用于正则化生成器并提升部件分离效果。
• 判别器采用基于1D卷积神经网络的架构，并配备重建头，以对潜在码施加身份一致性正则化。

实验结果

研究问题

• RQ1 无监督3D形状生成能否在无需部件级别标注的情况下实现有意义的部件解耦？
• RQ2 多根生成对抗网络在部件混合与局部修改过程中，能否有效保持形状一致性？
• RQ3 根部丢弃损失与凸性损失在多大程度上提升了部件解耦效果并减少了冗余？
• RQ4 外壳距离预测网络在提升生成部件的质量与解耦性方面起到了何种作用？
• RQ5 该模型能否在保持部件局部可编辑性的前提下，生成多样化且一致的形状？

主要发现

• 模型实现了较强的部件解耦效果，可视化结果显示，仅修改单个根部时，仅其对应部件发生变化，整体形状变化极小。
• 部件混合结果展示了良好的插值一致性：例如，圆形椅背在保持身份特征的同时，其尺寸和倾斜角度被调整以适配新形状。
• 根部丢弃损失有效减少了冗余部件，可视化显示，若不使用该损失，会出现重叠或重复的根部。
• 凸性损失显著提升了部件分离效果，若移除该损失，部件会变得模糊且相互重叠。
• 在ShapeNet基准测试中，MRGAN在未达到最先进质量指标的情况下，仍实现了具有竞争力或更优的覆盖度（COV-CD：椅子为67，飞机为75，桌子为78）。
• 外壳距离网络在合成与真实点云上均成功训练，采用L2损失预测到外壳的距离，有效辅助了部件正则化。