[论文解读] Learning to Group: A Bottom-Up Framework for 3D Part Discovery in Unseen Categories

Tiange Luo, Kaichun Mo+5 more|arXiv (Cornell University)|Feb 16, 2020

3D Shape Modeling and Analysis参考文献 54被引用 18

一句话总结

本文提出 OpenSeg，一种自下而上的 3D 部分发现框架，通过可学习的合并策略迭代合并子部分，在未见类别上实现了最先进性能。通过利用部分度量分数并结合几何与形状感知的结构化合并准则，OpenSeg 有效实现了对新类别的泛化，且无形状级别偏差。

ABSTRACT

We address the problem of discovering 3D parts for objects in unseen categories. Being able to learn the geometry prior of parts and transfer this prior to unseen categories pose fundamental challenges on data-driven shape segmentation approaches. Formulated as a contextual bandit problem, we propose a learning-based agglomerative clustering framework which learns a grouping policy to progressively group small part proposals into bigger ones in a bottom-up fashion. At the core of our approach is to restrict the local context for extracting part-level features, which encourages the generalizability to unseen categories. On the large-scale fine-grained 3D part dataset, PartNet, we demonstrate that our method can transfer knowledge of parts learned from 3 training categories to 21 unseen testing categories without seeing any annotated samples. Quantitative comparisons against four shape segmentation baselines shows that our approach achieve the state-of-the-art performance.

研究动机与目标

• 解决在训练期间未见过的类别下 3D 部分分割的挑战。
• 克服现有方法依赖形状级别归纳偏差的局限性，这些偏差会阻碍对新类别的泛化。
• 开发一种通用形状结构检测器，仅使用部分级别先验知识将形状分割为有意义的部分。
• 通过学习一种最小化误差传播的合并策略，实现鲁棒的零样本部分发现，通过迭代优化。

提出的方法

• 使用基于点云的部分提议网络初始化子部分提议。
• 使用基于 PointNet 的部分度量分数网络评估每个子部分的质量，通过 ℓ₂ 损失进行优化。
• 应用 MergeNet（二分类器）判断是否基于几何与结构兼容性合并子部分对。
• 采用多阶段合并策略，利用凸性与 SDF（有符号距离函数）一致性阈值指导合并决策。
• 通过转移函数 T 迭代合并子部分，将两个子部分替换为它们的并集，形成马尔可夫决策过程（MDP）。
• 通过强化学习训练合并策略，使用稀疏奖励信号惩罚无效合并（即不在有效子部分集合中的并集）。

实验结果

研究问题

• RQ1 自下而上的合并框架能否在训练期间未见的类别上实现 3D 部分发现？
• RQ2 如何利用部分级别先验知识减少形状级别归纳偏差并提升零样本泛化能力？
• RQ3 使用可学习的合并策略结合部分度量分数对分割准确率与鲁棒性有何影响？
• RQ4 与单阶段合并相比，基于置信度的迭代合并与优化如何减少误差传播？
• RQ5 在开放词汇设置下，几何与结构线索（如凸性、SDF 一致性）在多大程度上能提升合并决策？

主要发现

• OpenSeg 在 PartNet 数据集上对未见类别的部分分割实现了最先进性能，IoU 阈值为 0.5 时平均 mAP 达到 54.4%。
• 该方法在所有三个粒度级别（粗、中、细）上均优于先前最先进方法 SGPN（O1：54.4% vs. 50.0% mAP）。
• 使用部分度量分数回归显著提升了合并的可靠性，尤其在子部分包含多个实例点的情况下。
• 多阈值合并策略（θ₁=0.9, θ₂=0.8, θ₃=0.7）与 SDF 阈值（α=0.12）显著增强了结构一致性并减少了碎片化。
• 该框架对新类别具有良好的泛化能力，即使训练数据中不包含测试类别，也表现出鲁棒性。
• 消融实验表明，若移除部分度量分数或使用简单阈值合并策略，性能会下降，验证了学习质量估计的必要性。