[论文解读] Compositionally Generalizable 3D Structure Prediction

Songfang Han, Jiayuan Gu+5 more|arXiv (Cornell University)|Dec 4, 2020

3D Shape Modeling and Analysis参考文献 55被引用 7

一句话总结

该论文提出了一种用于单张图像3D形状重建的组合泛化框架，通过模块化神经网络将任务分解为子问题——部件分割、方向预测、尺寸预测和相对位置预测。通过建模跨不同物体类别共享的子结构（如部件、对称性和接合处），该方法在PartNet数据集上实现了最先进的性能，显著优于GenRe [62]，在未见过的类别（如床、桌子、柜子）上展现出优越的泛化能力。

ABSTRACT

Single-image 3D shape reconstruction is an important and long-standing problem in computer vision. A plethora of existing works is constantly pushing the state-of-the-art performance in the deep learning era. However, there remains a much more difficult and under-explored issue on how to generalize the learned skills over unseen object categories that have very different shape geometry distributions. In this paper, we bring in the concept of compositional generalizability and propose a novel framework that could better generalize to these unseen categories. We factorize the 3D shape reconstruction problem into proper sub-problems, each of which is tackled by a carefully designed neural sub-module with generalizability concerns. The intuition behind our formulation is that object parts (slates and cylindrical parts), their relationships (adjacency and translation symmetry), and shape substructures (T-junctions and a symmetric group of parts) are mostly shared across object categories, even though object geometries may look very different (e.g. chairs and cabinets). Experiments on PartNet show that we achieve superior performance than state-of-the-art. This validates our problem factorization and network designs.

研究动机与目标

• 解决在几何分布差异极大的未见物体类别上进行3D形状重建泛化的问题。
• 超越现有方法仅假设训练与测试类别相似的局限，提升跨类别泛化能力。
• 利用跨多样化物体类别的共享子结构先验（如部件类型、对称性、接合处）以增强泛化能力。
• 设计一种模块化神经网络框架，将3D重建分解为可解释、可迁移的子问题，并实现局部上下文学习。

提出的方法

• 将3D形状重建分解为四个子问题：部件分割、部件方向预测、基于组的尺寸预测和相对位置组合。
• 使用定向边界框表示部件，将连接性、方向和尺寸编码为结构先验。
• 采用无序的专家混合（MoE）网络进行方向预测，以处理旋转模糊性和对称性问题。
• 实施基于组的特征聚合进行尺寸预测，利用部件间的平移对称性提升在透视失真下的鲁棒性。
• 预测部件之间的相对位置而非绝对坐标，降低对尺度和平移的敏感性。
• 使用部件掩码作为显式注意力图，在特征学习过程中聚焦于局部结构。

实验结果

研究问题

• RQ1 3D形状重建能否在全局几何差异显著的全新未见物体类别上实现有效泛化？
• RQ2 共享子结构先验（如部件类型、对称性、接合处）是否能比端到端3D预测带来更好的跨类别泛化性能？
• RQ3 将重建任务模块化分解为子问题是否比直接预测3D形状或深度图更具泛化能力？
• RQ4 基于组的尺寸预测如何提升对透视失真和有限监督的鲁棒性？
• RQ5 相对位置预测在泛化能力和准确性方面是否优于绝对位置预测？

主要发现

• 所提方法在椅子上的平均切比雪夫距离（EMD）为0.032，桌子为0.053，柜子为0.053，床为0.041，显著优于GenRe [62]报告的0.056、0.099、0.081和0.075。
• 方向预测的MoE-MinN-MSE损失将平均测地线误差降低至7.11°（椅子）、10.31°（桌子）、3.42°（柜子）和6.43°（床），优于MSE和基于先验的基线方法。
• 基于组的尺寸预测相比单变量尺寸预测，将椅子的L1距离减少0.004，桌子减少0.019，柜子减少0.008，床减少0.006。
• 相对位置预测的L1距离为0.023（椅子）、0.038（桌子）、0.045（柜子）和0.042（床），优于绝对位置预测（0.035、0.080、0.082、0.067）。
• 在Pix3D和互联网获取的真实图像上的定性结果表明，尽管仅在合成数据上进行训练，模型仍能实现鲁棒的重建，证实了对真实世界输入的泛化能力。
• 与GenRe [62]的视觉对比显示，尽管GenRe的结果从输入视角看较为合理，但从其他视角观察时其3D重建结构准确性较低，进一步证实了本方法在结构保真度方面的优越性。