[论文解读] Label-efficient Segmentation via Affinity Propagation

Wentong Li, Yuqian Yuan+6 more|arXiv (Cornell University)|Oct 16, 2023

Advanced Computing and AlgorithmsSocial Sciences被引用 3

一句话总结

该论文提出APro，一种标签高效的分割方法，将亲和力建模表述为亲和力传播过程，结合全局与局部成对亲和力项以生成高精度的软伪标签。通过利用拓扑感知图传播及高效的O(N log N)实现，APro在框监督实例分割、点/涂鸦监督语义分割以及CLIP引导语义分割任务中均实现了最先进性能，且计算成本显著降低。

ABSTRACT

Weakly-supervised segmentation with label-efficient sparse annotations has attracted increasing research attention to reduce the cost of laborious pixel-wise labeling process, while the pairwise affinity modeling techniques play an essential role in this task. Most of the existing approaches focus on using the local appearance kernel to model the neighboring pairwise potentials. However, such a local operation fails to capture the long-range dependencies and ignores the topology of objects. In this work, we formulate the affinity modeling as an affinity propagation process, and propose a local and a global pairwise affinity terms to generate accurate soft pseudo labels. An efficient algorithm is also developed to reduce significantly the computational cost. The proposed approach can be conveniently plugged into existing segmentation networks. Experiments on three typical label-efficient segmentation tasks, i.e. box-supervised instance segmentation, point/scribble-supervised semantic segmentation and CLIP-guided semantic segmentation, demonstrate the superior performance of the proposed approach.

研究动机与目标

• 解决局部外观核在捕捉弱监督分割中长距离依赖关系和物体拓扑结构方面的局限性。
• 在保留细粒度语义关系的同时，降低全局亲和力建模的计算成本。
• 开发一种即插即用组件，以最小的架构改动增强现有分割网络。
• 通过结合全局与局部亲和力传播，提升标签高效分割任务中伪标签的质量。

提出的方法

• 将弱监督分割统一表述为亲和力传播过程，通过迭代优化软伪标签。
• 引入基于拓扑感知树状图的全局成对亲和力项，以建模超越局部邻域的长距离依赖关系。
• 设计局部成对亲和力项，以在预测中强制实现空间一致性和分段平滑性。
• 采用高效的O(N log N)算法替代O(N²)的暴力计算，实现实际部署。
• 并行或级联地结合全局与局部亲和力传播，以生成互补的伪标签。
• 将APro模块集成至现有分割网络中，实现稀疏标注下的端到端训练。

实验结果

研究问题

• RQ1 亲和力传播能否有效用于建模弱监督分割中局部与全局的成对关系？
• RQ2 与局部外观核相比，引入拓扑感知图结构如何提升长距离亲和力建模效果？
• RQ3 高效的O(N log N)实现是否能在显著降低计算成本的同时保持高精度？
• RQ4 全局与局部亲和力项在生成高质量软伪标签时如何相互补充？
• RQ5 APro在框监督、点/涂鸦监督及CLIP引导分割等多样化标签高效分割任务中具有多大程度的泛化能力？

主要发现

• 所提出的APro方法在Pascal VOC数据集的框监督实例分割任务中达到38.4%的掩码AP，优于先前方法。
• 并行使用全局与局部成对项（GP-LP-P）性能最佳，证明二者具有互补性。
• 高效实现将平均运行时间从O(N²)的4,300 ms降低至O(N log N)的0.8 ms，实现实时推理。
• APro收敛速度优于基于MeanField的方法，在20次迭代内达到36.0% AP，而后者需100次迭代才能达到相当性能。
• 消融实验表明，全局与局部亲和力项均不可或缺，其中全局项对性能提升贡献最大。
• 该方法在三类不同标签高效任务中均表现出良好泛化能力，包括CLIP引导的无标注语义分割，展现出强迁移能力。