[论文解读] Multi-modal Geolocation Estimation Using Deep Neural Networks

Jesse Johns, Jeremiah Rounds+1 more|arXiv (Cornell University)|Dec 26, 2017

Advanced Image and Video Retrieval Techniques参考文献 13被引用 3

一句话总结

本文提出了一种新颖的深度学习方法，用于使用基于Delaunay三角剖分的全局网格化、一天中的时间元数据以及用户相册信息进行多模态地理定位估计。该方法仅使用1490万张图像，便实现了最先进水平的准确率——在城市级别（25公里）提升11%，在国家级别（750公里）提升3%，显著少于先前依赖四叉树网格化且使用10倍以上数据的模型，证明了结构化网格化与多模态数据融合可在极少数据下显著提升地理定位性能。

ABSTRACT

Estimating the location where an image was taken based solely on the contents of the image is a challenging task, even for humans, as properly labeling an image in such a fashion relies heavily on contextual information, and is not as simple as identifying a single object in the image. Thus any methods which attempt to do so must somehow account for these complexities, and no single model to date is completely capable of addressing all challenges. This work contributes to the state of research in image geolocation inferencing by introducing a novel global meshing strategy, outlining a variety of training procedures to overcome the considerable data limitations when training these models, and demonstrating how incorporating additional information can be used to improve the overall performance of a geolocation inference model. In this work, it is shown that Delaunay triangles are an effective type of mesh for geolocation in relatively low volume scenarios when compared to results from state of the art models which use quad trees and an order of magnitude more training data. In addition, the time of posting, learned user albuming, and other meta data are easily incorporated to improve geolocation by up to 11% for country-level (750 km) locality accuracy to 3% for city-level (25 km) localities.

研究动机与目标

• 解决在有限且不平衡的地理标签图像数据下实现准确图像地理定位的挑战。
• 通过引入高效的网格化策略，克服全球地理定位深度学习模型训练中的数据稀缺问题。
• 通过整合一天中的时间与用户相册元数据作为辅助信号，提升地理定位准确率。
• 证明在低数据环境下，结构化网格化（Delaunay三角形）优于传统的四叉树方法。
• 研究室内/室外场景分类与潜在变量条件化对模型性能的影响。

提出的方法

• 使用Delaunay三角剖分在全局范围内构建包含538个（粗粒度）或6,565个（细粒度）三角形单元的网格，作为地理定位的空间桶。
• 使用映射到网格单元的图像特征，通过交叉熵损失进行多分类的深度神经网络（基于Inception）进行训练。
• 将一天中的时间作为连续嵌入向量，与模型最后一层拼接，以提升定位准确率。
• 使用用户ID将图像分组为相册，并应用用户平均法或基于相册的聚合策略，以建模用户层面的一致性。
• 应用数据采样策略，避免用户层面的过度表示，并使用随机采样以减少偏差。
• 通过多种分辨率下的空间准确率（1公里、25公里、200公里等）以及KL散度来衡量类别分布保真度，评估模型性能。

实验结果

研究问题

• RQ1 在低数据地理定位场景下，基于Delaunay三角剖分的网格化是否优于基于四叉树的网格化？
• RQ2 在不同空间分辨率下，整合一天中的时间元数据在多大程度上能提升地理定位准确率？
• RQ3 基于用户ID分组的用户相册信息在多大程度上影响模型的泛化能力与准确率？
• RQ4 对室内/室外场景分类进行条件化是否能提升地理定位性能？
• RQ5 尽管空间粒度较低，粗粒度网格是否在区域与国家级别分辨率下仍优于细粒度网格？

主要发现

• 当结合一天中的时间和用户相册输入时，粗粒度Delaunay网格在国家级别（750公里分辨率）实现了68.61%的准确率，优于使用10倍以上数据训练的最先进模型。
• 结合用户相册时，引入一天中的时间信息使城市级别（25公里）准确率提升11%（从30.24%提升至35.85%），国家级别准确率提升3%（从63.17%提升至68.61%）。
• 结合时间与用户相册输入的粗粒度网格实现了1,124公里的中位误差，显著低于基础模型（M1）的3,897公里中位误差。
• 在区域与国家级别分辨率（200公里与750公里）下，粗粒度网格优于细粒度网格，表明更高的空间粒度并不总能提升粗尺度地理定位性能。
• 引入一天中时间输入的模型（M2）将KL散度从0.6718降低至0.4998，表明其与真实类别分布的对齐更好，偏差更低。
• 使用粗粒度网格单元中心点的理论最优性能在城市级别（25公里）达到81.97%准确率，表明模型仍有较大提升空间，但多模态输入已使其显著改进。