[论文解读] PatchComplete: Learning Multi-Resolution Patch Priors for 3D Shape Completion on Unseen Categories

Yuchen Rao, Yinyu Nie+1 more|arXiv (Cornell University)|Jun 10, 2022

Image Retrieval and Classification Techniques被引用 9

一句话总结

PatchComplete 提出了一种新颖的3D形状补全方法，通过从多样化训练类别中学习多分辨率补丁先验，实现对未见物体类别的鲁棒重建。通过使用交叉注意力机制将部分输入形状与学习到的局部几何先验对齐，并融合多分辨率补丁，该方法在ShapeNet和ScanNet上分别实现了19.3%和9.0%的Chamfer距离性能提升，达到当前最优水平。

ABSTRACT

While 3D shape representations enable powerful reasoning in many visual and perception applications, learning 3D shape priors tends to be constrained to the specific categories trained on, leading to an inefficient learning process, particularly for general applications with unseen categories. Thus, we propose PatchComplete, which learns effective shape priors based on multi-resolution local patches, which are often more general than full shapes (e.g., chairs and tables often both share legs) and thus enable geometric reasoning about unseen class categories. To learn these shared substructures, we learn multi-resolution patch priors across all train categories, which are then associated to input partial shape observations by attention across the patch priors, and finally decoded into a complete shape reconstruction. Such patch-based priors avoid overfitting to specific train categories and enable reconstruction on entirely unseen categories at test time. We demonstrate the effectiveness of our approach on synthetic ShapeNet data as well as challenging real-scanned objects from ScanNet, which include noise and clutter, improving over state of the art in novel-category shape completion by 19.3% in chamfer distance on ShapeNet, and 9.0% for ScanNet.

研究动机与目标

• 解决由于有限训练数据中学习到的类别特异性先验，导致3D形状补全难以泛化到未见类别的挑战。
• 克服现有方法过度拟合特定类别、在新类别上表现失败的局限性。
• 实现对具有噪声、杂乱和几何不完整性的实际扫描物体的有效形状补全。
• 学习可泛化的局部几何先验，捕捉跨多样化物体类别的共享子结构（例如腿、杆等）。
• 开发一种无需在新类别上微调或重新训练即可实现跨类别泛化的补全方法。

提出的方法

• 从多个类别的多样化训练形状中学习多分辨率补丁先验，捕捉共享的局部子结构。
• 使用交叉注意力机制将部分输入形状的局部区域与学习到的补丁先验相关联。
• 通过可学习的聚合模块融合多分辨率补丁先验，以重建一致的全局与局部形状结构。
• 使用可微分的重建损失端到端训练模型，实现对补丁先验和注意力权重的梯度优化。
• 在推理阶段应用学习到的先验完成部分形状，无需微调，即使面对完全未见过的类别亦可适用。
• 采用密集体素网格表示进行最终形状重建，并通过基于注意力的特征匹配实现输入与先验补丁之间的对齐。

实验结果

研究问题

• RQ1 基于局部补丁的先验是否能在多样化3D物体类别间实现泛化，从而支持对未见类别的形状补全？
• RQ2 多分辨率补丁先验学习在捕捉细粒度与粗粒度几何结构方面的有效性如何？
• RQ3 输入部分形状与学习到的补丁先验之间的基于注意力的相关性在多大程度上提升了重建质量？
• RQ4 该方法是否能泛化到具有噪声、杂乱和几何不完整的实际扫描数据？
• RQ5 可学习先验在形状补全中的性能与固定先验（例如从训练数据聚类得到）相比如何？

主要发现

• 与最先进方法相比，PatchComplete 在ShapeNet上将Chamfer距离提升了19.3%，实现了对新类别形状补全的显著性能提升。
• 在真实世界的ScanNet数据上，该方法相比之前最先进方法将Chamfer距离降低了9.0%，表明其对噪声和杂乱具有强鲁棒性。
• 消融研究显示，基于注意力的补丁相关性至关重要，无注意力变体在ShapeNet上的实例Chamfer距离性能下降了0.21。
• 合成预训练显著提升了在真实ScanNet数据上的性能，平均将Chamfer距离从7.61降低至7.38。
• 学习到的补丁先验优于固定先验（如通过均值漂移聚类得到），在ShapeNet上实现了0.08的实例Chamfer距离提升。
• 该方法对不同类别划分具有鲁棒性，在多种训练/新类别配置下均保持一致性能，表明其对训练类别分布的依赖性较低。