[论文解读] Lost in the Past: Recognizing Locations Over Large Time Lags.

Basura Fernando, Tatiana Tommasi+1 more|arXiv (Cornell University)|Sep 26, 2014

Advanced Image and Video Retrieval Techniques参考文献 29被引用 2

一句话总结

本文提出了一项新任务：利用现代网络抓取的图像作为参考，识别老照片中的位置。它提出了一种领域自适应特征学习方法，能够识别出在时间上保持不变的鲁棒视觉特征，显著提升了在长时间跨度下的定位准确率。

ABSTRACT

Would it be possible to automatically associate ancient pictures to modern ones and create fancy cultural heritage city maps? We introduce here the task of recognizing the location depicted in an old photo given modern annotated images collected from the Internet. We present an extensive analysis on different features, looking for the most discriminative and most robust to the image variability induced by large time lags. Moreover, we show that the described task benefits from domain adaptation.

研究动机与目标

• 解决在存在较大时间与视觉差异的情况下，将古照片与现代地理位置相匹配的挑战。
• 识别在城市变迁几十年间仍保持稳定的最具区分性与鲁棒性的视觉特征。
• 评估领域自适应在提升跨时间图像定位性能方面的有效性。
• 通过连接历史与当代图像，实现文化遗产城市地图的自动化创建。

提出的方法

• 该方法采用深度神经网络从老照片和现代图像中提取特征。
• 应用领域自适应技术，对齐老照片与现代图像领域之间的特征分布。
• 该方法采用孪生网络架构，比较并匹配跨时间延迟图像的特征。
• 评估多种特征类型（例如，基于CNN的、手工设计的）在时间与环境变化下的鲁棒性。
• 模型在大规模配对历史与现代图像数据集上进行训练，数据来自网络。
• 使用对比损失函数，以鼓励同一位置图像的特征相似。

实验结果

研究问题

• RQ1 来自现代网络图像的深度特征能否有效识别老照片中的位置？
• RQ2 哪些视觉特征对长时间跨度和城市变迁最具鲁棒性？
• RQ3 领域自适应在多大程度上提升了跨时间跨度的定位准确率？
• RQ4 该方法在多大程度上可实现文化遗产地图的自动化构建？

主要发现

• 所提出的领域自适应方法相比无自适应的基线模型，显著提升了定位准确率。
• 基于CNN的特征在长时间跨度下，其鲁棒性与区分能力均优于手工设计的特征。
• 即使老照片与现代图像因城市发展导致视觉差异显著，模型仍表现出显著性能。
• 利用网络收集的现代图像，可实现可扩展且成本效益高的历史照片定位识别。