[论文解读] Attentional Prototype Inference for Few-Shot Segmentation

Haoliang Sun, Xiankai Lu+5 more|arXiv (Cornell University)|May 14, 2021

Advanced Neural Network Applications参考文献 57被引用 4

一句话总结

该论文提出了一种注意力原型推理（API）方法，这是一种用于少样本图像分割的概率潜在变量框架，通过将对象原型建模为分布来处理不确定性和类内差异。通过利用变分贝叶斯推断联合推断概率原型和注意力图，API 在四个基准数据集上实现了最先进性能，在 1-shot 和 5-shot 设置下均优于现有基于原型的方法。

ABSTRACT

This paper aims to address few-shot segmentation. While existing prototype-based methods have achieved considerable success, they suffer from uncertainty and ambiguity caused by limited labeled examples. In this work, we propose attentional prototype inference (API), a probabilistic latent variable framework for few-shot segmentation. We define a global latent variable to represent the prototype of each object category, which we model as a probabilistic distribution. The probabilistic modeling of the prototype enhances the model's generalization ability by handling the inherent uncertainty caused by limited data and intra-class variations of objects. To further enhance the model, we introduce a local latent variable to represent the attention map of each query image, which enables the model to attend to foreground objects while suppressing the background. The optimization of the proposed model is formulated as a variational Bayesian inference problem, which is established by amortized inference networks. We conduct extensive experiments on four benchmarks, where our proposal obtains at least competitive and often better performance than state-of-the-art prototype-based methods. We also provide comprehensive analyses and ablation studies to gain insight into the effectiveness of our method for few-shot segmentation.

研究动机与目标

• 解决基于确定性原型的方法在少样本分割中的局限性，这些方法因标注数据有限而难以应对模糊性、噪声和类内差异。
• 通过将对象原型建模为概率分布而非固定向量，提升泛化能力，以捕捉不确定性和类内多样性。
• 为注意力图引入一个局部潜在变量，以增强对前景对象的关注并抑制背景干扰。
• 将优化问题表述为使用证据下界（ELBO）的变分推断问题，实现原型和注意力图的联合学习。
• 通过在多样化少样本分割基准上的大量实验和消融研究，验证该框架的有效性。

提出的方法

• 定义一个全局潜在变量，表示每个对象类别的概率原型，通过建模为分布来捕捉不确定性和类内差异。
• 为每个查询图像引入一个局部潜在变量以表示注意力图，实现对前景区域的动态聚焦。
• 将优化问题表述为使用摊销推断网络近似后验分布的变分贝叶斯推断问题。
• 推导出一种专为少样本分割设计的新证据下界（ELBO），实现原型和注意力后验的联合估计。
• 使用蒙特卡洛采样来近似分割输出，通过聚合多个随机预测以获得鲁棒且完整的分割图。
• 训练时使用单一样本的随机梯度下降以平衡计算成本与泛化能力，推理时使用 5–15 个样本以提升准确性。

实验结果

研究问题

• RQ1 将对象原型建模为概率分布是否能提升在少样本分割中对标签模糊性和类内差异的鲁棒性？
• RQ2 将可学习的注意力机制作为局部潜在变量引入，是否能增强前景定位和分割准确性？
• RQ3 在低数据场景下，使用联合优化的 ELBO 目标进行变分推断，在多大程度上提升了泛化能力？
• RQ4 对随机原型和注意力图进行蒙特卡洛采样，如何影响分割质量与推理效率？
• RQ5 通过消融研究，各组件（概率原型、注意力图、变分推断）对整体性能的贡献如何？

主要发现

• API 在四个基准数据集（Pascal-5i、MS-COCO、FSS-1000 和 LIDC-IDRI）上的表现至少与最先进方法相当，且通常更优。
• 在医学影像数据集 LIDC-IDRI 上，该方法展现出强统计特性，交叉能量距离结果表明其能准确处理图像固有的模糊性。
• 消融研究证实，概率原型和变分注意力机制均对性能提升有显著贡献。
• 蒙特卡洛采样提升了分割的完整性并减少了噪声，性能在 15 个采样时趋于饱和，但实际推理中使用 5 个采样已足够高效。
• 该模型可生成多样且合理的分割假设，可为临床决策提供不确定性感知的预测。
• 推理时间因引入注意力机制而略有增加（在 5-shot 条件下 M=15 时小于 0.1 秒），且在测试时采用最小采样量仍保持可接受的速度。