[论文解读] Large Scale Business Discovery from Street Level Imagery

Qian Yu, Christian Szegedy+5 more|arXiv (Cornell University)|Dec 17, 2015

Advanced Image and Video Retrieval Techniques参考文献 21被引用 8

一句话总结

本文提出了一种基于MultiBox的端到端深度学习方法，用于在谷歌街景图像中大规模检测商业门店。该方法在准确性和效率方面优于传统技术，在真实世界端到端评估中实现了94.6%的精确率和53.2%的召回率，且在低召回率设置下性能与人工标注者相当。

ABSTRACT

Search with local intent is becoming increasingly useful due to the popularity of the mobile device. The creation and maintenance of accurate listings of local businesses worldwide is time consuming and expensive. In this paper, we propose an approach to automatically discover businesses that are visible on street level imagery. Precise business store front detection enables accurate geo-location of businesses, and further provides input for business categorization, listing generation, etc. The large variety of business categories in different countries makes this a very challenging problem. Moreover, manual annotation is prohibitive due to the scale of this problem. We propose the use of a MultiBox based approach that takes input image pixels and directly outputs store front bounding boxes. This end-to-end learning approach instead preempts the need for hand modeling either the proposal generation phase or the post-processing phase, leveraging large labelled training datasets. We demonstrate our approach outperforms the state of the art detection techniques with a large margin in terms of performance and run-time efficiency. In the evaluation, we show this approach achieves human accuracy in the low-recall settings. We also provide an end-to-end evaluation of business discovery in the real world.

研究动机与目标

• 为解决在街景图像中大规模检测高度可变且定义模糊的商业门店所面临的挑战。
• 克服基于选择性搜索或后分类的传统目标检测流程的局限性，这些方法在面对视觉可变性和边界模糊性时表现不佳。
• 开发一种可端到端训练的系统，直接预测边界框和置信度，减少工程开销并提高效率。
• 通过与人工标注者对比评估检测器性能，并通过端到端的门店发现实现对物理空间的实际覆盖。

提出的方法

• 使用基于MultiBox的卷积神经网络（CNN），以原始图像像素作为输入，以端到端方式直接输出目标边界框和置信度分数。
• 采用单一目标函数联合优化特征提取、边界框回归和分类，无需单独的候选区域生成或后处理步骤。
• 利用大规模人工标注的训练数据，学习跨多样化商业类型和地理区域的视觉模式，包括高类别内可变性。
• 应用地理聚类和基于GIS的过滤方法，合并重复检测结果，并从最终输出中移除车辆或非城市区域的误检。
• 采用多标注者共识协议（≥3人中至少2人一致）评估精确率和召回率，将检测器输出与低召回率和高召回率的人工标注集进行对比。
• 在巴西一个1 km²的区域内开展端到端评估，通过虚拟街景步行和人工确认验证检测结果。

实验结果

研究问题

• RQ1 端到端深度学习方法是否能在检测模糊且多变的商业门店方面优于传统两阶段目标检测流程？
• RQ2 在低召回率条件下，MultiBox检测器在精确率和召回率方面与人工标注者相比如何？
• RQ3 自动化检测在多大程度上能实现对物理空间的实际覆盖？在真实世界部署中可达到的精确率和召回率是多少？
• RQ4 检测器如何处理广告牌或类似门店外观的非门店元素导致的误报？
• RQ5 该系统能否在全球范围的门店发现中实现扩展，同时保持高效率和高精度？

主要发现

• 在巴西1 km²区域的真实世界端到端评估中，MultiBox检测器在931个可见门店中实现了94.6%的精确率和53.2%的召回率。
• 在精确率为89.50%时，检测器在低召回率设置下与人工标注者表现相当，每张图像的检测框数量为1.471个，与人工标注者的1.467个几乎一致。
• 无论在准确性还是计算效率方面，检测器均优于Selective Search和Multi-Context Heatmap基线模型，且显著降低了工程开销。
• 尽管精确率较高，检测器产生的严重误报仍多于人工标注者——例如错误地将标识牌或非门店结构识别为门店，这在定性示例中可见。
• 人工标注者之间的一致性较低（精确率低于90%），表明定义门店边界的内在模糊性，而该模型在一定程度上缓解了这一问题。
• 该系统展现出良好的可扩展性，得益于其高运行时效率和端到端学习框架，可实现全球范围的大规模门店发现。