[论文解读] Learning to Point and Count

Jie Shao, Dequan Wang+2 more|arXiv (Cornell University)|Dec 8, 2015

Explainable Artificial Intelligence (XAI)参考文献 15被引用 3

一句话总结

本文引入了点与计数（P&C）问题作为新基准，以挑战目标检测中的“是什么与在哪里”困境，提出了两种新方法：先计数后定位（C2P）和先定位后计数（P2C）。研究证明，结合两种方法可提升鲁棒性，揭示了卷积神经网络（CNNs）中的关键局限性，如数据偏差和尺度敏感性，并提出了MNIST-LEGO数据集，以实现可控、可扩展的合成训练数据实验，支持无限合成训练数据。

ABSTRACT

This paper proposes the problem of point-and-count as a test case to break the what-and-where deadlock. Different from the traditional detection problem, the goal is to discover key salient points as a way to localize and count the number of objects simultaneously. We propose two alternatives, one that counts first and then point, and another that works the other way around. Fundamentally, they pivot around whether we solve "what" or "where" first. We evaluate their performance on dataset that contains multiple instances of the same class, demonstrating the potentials and their synergies. The experiences derive a few important insights that explains why this is a much harder problem than classification, including strong data bias and the inability to deal with object scales robustly in state-of-art convolutional neural networks.

研究动机与目标

• 通过提出一项新任务——点与计数（P&C），解决目标检测中的“是什么与在哪里”困境，即模型需在同一张图像中同时定位并计数相同对象。
• 探究在P&C任务中，先解决“是什么”（分类）还是先解决“在哪里”（定位）能带来更好的性能。
• 通过在真实与合成数据上的实证分析，识别现代卷积神经网络（CNNs）的根本局限性，如强烈的数据偏差和较差的尺度泛化能力。
• 开发一种新型合成数据集MNIST-LEGO，以支持对P&C问题的可控、可扩展且无限的训练数据研究。

提出的方法

• 提出两种不同策略：先计数后定位（C2P），先通过学习分类器预测对象数量，再对激活热图进行聚类；以及先定位后计数（P2C），利用预训练网络的顶级特征作为对象特征签名，在聚类前对热图进行过滤。
• 使用预训练CNN提取激活图，然后对热图响应应用现成的聚类方法（如均值漂移）以定位显著点。
• 在P2C方法中，使用预训练网络中顶部激活特征的词典作为特征签名，以修剪和优化热图。
• 通过应用简单构建规则将MNIST数字组合成合成对象，构建MNIST-LEGO数据集，从而实现对对象复杂度、尺度和背景噪声的控制。
• 采用一个包含4层的CNN，使用NIN模块并结合全局平均池化，用于分类与特征提取，在MNIST-LEGO上达到85.4%的top-1准确率。
• 通过预测指针是否落入真实边界框内来评估性能，并分析小物体混淆与尺度差异等失败模式。

实验结果

研究问题

• RQ1 在点与计数任务中，先解决‘在哪里’（P2C）或先解决‘是什么’（C2P）是否能带来更好的性能？
• RQ2 当应用于点与计数任务时，最先进CNN的失败模式是什么，特别是关于数据偏差和尺度差异的问题？
• RQ3 所提出的两种方法——C2P与P2C——之间如何相互作用？能否通过结合两者来提升鲁棒性？
• RQ4 像MNIST-LEGO这样的合成数据集在多大程度上能复现真实世界P&C挑战，如紧密相邻物体混淆与尺度变化？
• RQ5 从合成数据中获得的洞见在多大程度上可迁移至真实世界图像理解任务？

主要发现

• P2C方法无需额外学习，可处理任意数量的对象，在分类准确时表现良好，但对聚类错误敏感。
• C2P方法先学习计数，当某一类对象占主导时表现优于P2C，因其能提供更具信息量的聚类信号。
• 小而紧密排列的对象因感受野重叠和激活图纠缠，导致计数不足，尤其在深层网络中更为明显。
• 预训练CNN表现出强烈的数据偏差，倾向于偏好训练期间更常出现的类别，从而损害公平计数性能。
• MNIST-LEGO数据集成功复现了真实世界P&C中的失败模式，如大O效应、并行抑制与紧密相邻混淆，验证了其在受控实验中的有效性。
• 结合C2P与P2C策略可产生协同增益，表明集成系统可能优于孤立方法。