[论文解读] Improving Image Classification with Location Context

Kevin Tang, Manohar Paluri+3 more|arXiv (Cornell University)|May 14, 2015

Advanced Image and Video Retrieval Techniques参考文献 38被引用 4

一句话总结

本文提出将GPS获取的位置上下文整合进卷积神经网络（CNN）以提升图像分类性能。通过设计五种新型位置特征，并在CNN内实现端到端学习最优池化半径，作者在新构建的地理标记数据集上实现了平均平均精度7%的相对提升，证明了位置上下文能显著增强对位置敏感视觉概念的识别能力。

ABSTRACT

With the widespread availability of cellphones and cameras that have GPS capabilities, it is common for images being uploaded to the Internet today to have GPS coordinates associated with them. In addition to research that tries to predict GPS coordinates from visual features, this also opens up the door to problems that are conditioned on the availability of GPS coordinates. In this work, we tackle the problem of performing image classification with location context, in which we are given the GPS coordinates for images in both the train and test phases. We explore different ways of encoding and extracting features from the GPS coordinates, and show how to naturally incorporate these features into a Convolutional Neural Network (CNN), the current state-of-the-art for most image classification and recognition problems. We also show how it is possible to simultaneously learn the optimal pooling radii for a subset of our features within the CNN framework. To evaluate our model and to help promote research in this area, we identify a set of location-sensitive concepts and annotate a subset of the Yahoo Flickr Creative Commons 100M dataset that has GPS coordinates with these concepts, which we make publicly available. By leveraging location context, we are able to achieve almost a 7% gain in mean average precision.

研究动机与目标

• 通过将GPS坐标作为上下文先验来提升图像分类性能。
• 设计从GPS坐标中提取的有效、数据驱动的特征，以捕捉纬度和经度之外的地理上下文。
• 开发一种CNN架构，实现视觉特征与基于位置的特征的联合学习，并通过端到端优化。
• 在深度学习框架内实现位置特征最优空间池化半径的自动学习。
• 构建并发布一个公开可用的大规模地理标记图像数据集（YFCC100M-GEO100），用于评估位置感知的图像分类。

提出的方法

• 提出五类位置上下文特征：标签上下文、视觉上下文、土地覆盖、高程和气候，这些特征源自GPS坐标及外部地理数据集。
• 通过在全连接层将这些特征与视觉特征拼接，并添加一个拼接后层以建模跨特征交互，将这些特征整合进CNN。
• 用多个可学习半径层（RL10）的副本替代固定半径的直方图池化，以自动确定特征聚合的最优空间尺度。
• 使用随机梯度下降端到端训练整个网络，实现视觉、位置和半径参数的联合优化。
• 在分类之前使用256维全连接层作为最终表征，以避免使用更深或更大的层时出现的过拟合现象。
• 利用YFCC100M-GEO100数据集——包含100个位置敏感概念的88,986张地理标记图像——进行训练与评估。

实验结果

研究问题

• RQ1 当GPS坐标作为上下文先验使用时，能否显著提升图像分类的准确性？
• RQ2 哪些类型的位置衍生特征（如土地覆盖、高程、气候）对提升视觉识别最为有效？
• RQ3 深度学习模型能否自动学习位置特征的最优空间池化半径，而非依赖人工调优的值？
• RQ4 位置上下文的整合对细粒度、位置特定的视觉概念性能有何影响？
• RQ5 该模型在多样化的地理与语义概念上的性能泛化程度如何？

主要发现

• 与仅使用图像的基线模型相比，所提方法在平均平均精度（mAP）上实现了7%的相对提升（从36.82%提升至43.78%）。
• 表现最佳的模型使用全部五种位置特征，结合256维表征和10个可学习半径层副本（256/- RL10），mAP达到43.78%。
• 如“disneyland”、“casino”和“alcatraz”等特定位置的概念获得最大性能提升，表明存在显著的定位效应。
• 模型为不同概念学习到不同的池化半径：“coast”和“foliage”收敛至3个或更少的半径，而“building”则使用更广范围，反映出依赖上下文的空间尺度。
• 添加拼接后层会导致过拟合，因此最终选择不包含该层的256/- RL10配置作为最终模型。
• YFCC100M-GEO100数据集（包含100个类别、88,986张地理标记图像）已公开发布，以支持未来在位置感知视觉领域的研究。