[论文解读] Banana: Banach Fixed-Point Network for Pointcloud Segmentation with Inter-Part Equivariance

Congyue Deng, Jiahui Lei+3 more|arXiv (Cornell University)|May 25, 2023

3D Shape Modeling and Analysis被引用 6

一句话总结

本文提出 Banana，一种巴拿赫不动点网络，通过在迭代推理过程中共同演化部件分割标签与各部件的 SE(3) 变换，实现在 3D 点云分割中的部件间等变性。该方法确保了理论上的每步等变性与全局收敛性，从而在面对显著的几何与拓扑变化时，仍能对未见过的部件间配置实现强大的泛化能力。

ABSTRACT

Equivariance has gained strong interest as a desirable network property that inherently ensures robust generalization. However, when dealing with complex systems such as articulated objects or multi-object scenes, effectively capturing inter-part transformations poses a challenge, as it becomes entangled with the overall structure and local transformations. The interdependence of part assignment and per-part group action necessitates a novel equivariance formulation that allows for their co-evolution. In this paper, we present Banana, a Banach fixed-point network for equivariant segmentation with inter-part equivariance by construction. Our key insight is to iteratively solve a fixed-point problem, where point-part assignment labels and per-part SE(3)-equivariance co-evolve simultaneously. We provide theoretical derivations of both per-step equivariance and global convergence, which induces an equivariant final convergent state. Our formulation naturally provides a strict definition of inter-part equivariance that generalizes to unseen inter-part configurations. Through experiments conducted on both articulated objects and multi-object scans, we demonstrate the efficacy of our approach in achieving strong generalization under inter-part transformations, even when confronted with substantial changes in pointcloud geometry and topology.

研究动机与目标

• 为解决在可动物体或多物体场景等多体 3D 形状中实现等变性的问题，其中部件分配与变换相互依赖。
• 解决部件间等变性中的‘先有鸡还是先有蛋’问题，即需要分割标签来定义等变性，但分割标签本身又是网络的期望输出。
• 形式化一个严格的部件间等变性定义，可泛化至未见配置，不同于以往仅限于刚性 SE(3) 等变性的研究。
• 设计一种通过迭代不动点优化分割与变换共同演化的学习框架，从构造上强制实现等变性。

提出的方法

• 该方法将点云分割建模为一个巴拿赫不动点问题，其中部件分配与各部件的 SE(3) 变换通过迭代方式共同演化。
• 通过一种部件感知的加权消息传递机制，结合 SE(3) 等变的消息函数，确保每步的等变性。
• 网络使用局部化算子与各部件等变特征，以在迭代推理过程中稳定收敛。
• 通过一步训练结合迭代推理，使模型能够学习到一个在收敛时具有全局等变性的不动点解。
• 该框架基于理论推导，证明了每步等变性与全局收敛至稳定、等变不动点的性质。

实验结果

研究问题

• RQ1 能否在可动物体或多人物场景的点云分割中，正式定义并强制实现部件间等变性？
• RQ2 当部件分割事先未知时，深度学习模型如何实现对各部件变换的等变性？
• RQ3 通过共同演化的分割与变换标签进行迭代推理，能否得到稳定且全局等变的解？
• RQ4 所提出的不动点框架是否能在几何或拓扑发生显著变化时，泛化至未见的部件间配置？

主要发现

• 所提出的 Banana 框架在部件间变换下表现出强大的泛化能力，即使点云的几何或拓扑发生显著变化亦然。
• 在可动物体上的实验表明，模型能从静态静止状态泛化到新型可动构型，展现出对未见姿态的鲁棒性。
• 在多物体场景中，模型能从干净的合成扫描泛化到杂乱的真实世界扫描，同时保持高 segmentation 准确率。
• 理论分析证实了每步等变性与全局收敛性，确保最终输出为全局部件间等变。
• 在零样本泛化到未见部件配置方面，该模型优于基线方法，验证了不动点与等变设计的有效性。