[论文解读] A Low-Shot Object Counting Network With Iterative Prototype Adaptation

N Djukić, Alan Lukežič+2 more|arXiv (Cornell University)|Nov 15, 2022

Advanced Neural Network Applications被引用 8

一句话总结

LOCA 提出了一种新颖的少样本目标计数网络，通过迭代融合范例的形状与外观信息到自适应目标原型中，显著提升了定位与计数的准确性。在 FSC147 上，无论是在少样本、单样本还是零样本设置下，均实现了最先进性能，其中在少样本场景下相对 RMSE 提升达 33.4%，在零样本场景下提升 16.3%。

ABSTRACT

We consider low-shot counting of arbitrary semantic categories in the image using only few annotated exemplars (few-shot) or no exemplars (no-shot). The standard few-shot pipeline follows extraction of appearance queries from exemplars and matching them with image features to infer the object counts. Existing methods extract queries by feature pooling which neglects the shape information (e.g., size and aspect) and leads to a reduced object localization accuracy and count estimates. We propose a Low-shot Object Counting network with iterative prototype Adaptation (LOCA). Our main contribution is the new object prototype extraction module, which iteratively fuses the exemplar shape and appearance information with image features. The module is easily adapted to zero-shot scenarios, enabling LOCA to cover the entire spectrum of low-shot counting problems. LOCA outperforms all recent state-of-the-art methods on FSC147 benchmark by 20-30% in RMSE on one-shot and few-shot and achieves state-of-the-art on zero-shot scenarios, while demonstrating better generalization capabilities.

研究动机与目标

• 解决现有少样本计数方法在原型提取过程中忽略目标形状信息的问题，从而导致定位与计数准确性较差。
• 开发一个统一框架，支持从少样本、单样本到零样本的完整低样本计数场景，仅使用单一架构。
• 通过显式建模范例形状并利用全局图像外观特征自适应原型，而非依赖固定尺寸池化，提升泛化能力。
• 在 FSC147 基准和 CARPK 数据集上，验证方法在性能与鲁棒性上的优越表现。

提出的方法

• 引入一种新型目标原型提取（OPE）模块，独立分离并处理范例的形状与外观查询。
• 通过融合范例外观与全局图像特征，迭代优化目标原型，从而提升对同一类别未见实例的泛化能力。
• 采用可学习的迭代自适应机制，在多步中更新原型，提升特征判别力与定位精度。
• 在损失函数（$\mathcal{L}_{OSE}$）中引入目标计数归一化，以强调高密度、困难样本的优化。
• 在每个 OPE 模块中引入辅助监督，以稳定训练并提升多轮迭代中的特征质量。
• 通过注意力机制或基于提议的方法隐式识别范例，无需标注，从而将框架适配至零样本场景。

Figure 1 : LOCA injects shape and appearance information into object queries to precisely count objects of various sizes in densely and sparsely populated scenarios. It also extends to a zero-shot scenario and achieves excellent localization and count errors across the entire low-shot spectrum.

实验结果

研究问题

• RQ1 显式建模范例形状信息是否能提升低样本目标计数中的目标定位与计数准确性？
• RQ2 将范例外观与全局图像特征进行迭代融合，是否相比固定尺寸池化在原型构建中具有更好的泛化能力？
• RQ3 统一架构能否在少样本、单样本与零样本计数基准上均实现最先进性能？
• RQ4 所提出的迭代原型自适应机制与端到端学习的相似度函数相比，在准确率与鲁棒性方面表现如何？
• RQ5 该方法在未见数据集与不同目标尺度上的泛化能力达到何种程度？

主要发现

• 在 FSC147 少样本基准上，LOCA 相较于先前最先进方法，相对 RMSE 提升达 33.4%。
• 在零样本设置下，LOCA 实现了最先进性能，相对 RMSE 提升 16.3%。
• 该方法展现出强大的跨数据集泛化能力，在 CARPK 汽车计数数据集上实现 9.2% 的相对 RMSE 提升。
• 消融实验表明，损失函数中的目标计数归一化使 MAE 降低 11%，OPE 模块中的辅助损失使 RMSE 降低 17%。
• 定性结果证实，LOCA 在小尺寸、大尺寸及混合尺寸目标的计数上优于基线方法，尤其在密集场景中表现更优。
• OPE 模块的设计是性能提升的主要驱动力，这一结论通过在主干网络预训练、输入分辨率与原型尺寸上的消融实验得到验证。

Figure 2 : The LOCA architecture. Input image is encoded into features $\mathbf{f}^{E}$ , which are depth-wise correlated (*) by $n$ object queries predicted by the object prototype extraction module. The response map $\tilde{\mathbf{R}}$ is obtained by computing per-element maximum of $n$ similarit