[论文解读] Single-View Place Recognition under Seasonal Changes
本文将 CNN 为基础的描述符用于实现对天气不变的单视角地点识别,并比较预训练、孪生和三元组网络,提出 Nordland 数据集分区以评估季节鲁棒性。经过微调的三元组模型在 Nordland 上取得了最新结果,包括强的冬夏识别能力。
Single-view place recognition, that we can define as finding an image that corresponds to the same place as a given query image, is a key capability for autonomous navigation and mapping. Although there has been a considerable amount of research in the topic, the high degree of image variability (with viewpoint, illumination or occlusions for example) makes it a research challenge. One of the particular challenges, that we address in this work, is weather variation. Seasonal changes can produce drastic appearance changes, that classic low-level features do not model properly. Our contributions in this paper are twofold. First we pre-process and propose a partition for the Nordland dataset, frequently used for place recognition research without consensus on the partitions. And second, we evaluate several neural network architectures such as pre-trained, siamese and triplet for this problem. Our best results outperform the state of the art of the field. A video showing our results can be found in https://youtu.be/VrlxsYZoHDM. The partitioned version of the Nordland dataset at http://webdiis.unizar.es/~jmfacil/pr-nordland/.
研究动机与目标
- 在自动导航与制图中对严重季节性外观变化下的鲁棒地点识别提供动机。
- 提出一个标准化的 Nordland 数据集分区,以实现方法之间的公平比较。
- 评估多种神经网络结构(预训练、孪生、三元组)在天气不变描述符方面的性能。
- 评估与现有方法的对比以及量化对季节变化的鲁棒性。
提出的方法
- 使用 CNN 提取图像描述符,并将欧氏距离作为相似性度量。
- 评估来自预训练的 VGG-16(Imagenet 和 Places)层的特征,以确定有效的表示。
- 通过添加一个 128 维全连接层并在等同/不同地点对上使用对比损失来训练孪生网络。
- 通过添加一个 128 维层并使用 Wohlhart-Lepetit 损失来训练三元组网络;比较从头训练与在预训练的 VGG-16-Places 基础上微调的效果。
- 将描述符维度设为 128 以实现效率与性能平衡。
实验结果
研究问题
- RQ1CNN 基于的描述符是否能够对地点识别在极端季节外观变化下保持鲁棒?
- RQ2预训练、孪生和三元组体系结构在天气不变的地点识别中有何差异?
- RQ3在季节性变化下,微调 Places 训练的 VGG-16 基底是否能提升识别效果?
- RQ4描述符维度对识别准确性和计算成本有何影响?
主要发现
- 在从 VGG-16-Places 开始并进行微调的三元组网络中,得到最佳结果,描述符维度为 128。
- 在有利条件下,80 公里 Nordland 路线上有 98% 的地点被正确识别;在季节变化剧烈时,正确率为 86%。
- 通过 Siamese 网络得到的 128 维描述符提供紧凑但有竞争力的表示。
- Places 训练的 VGG-16 特征在微调后优于用于此任务的 Imagenet 训练变体。
- 提出的 Nordland 分区使不同方法之间的公平比较成为可能,并在 Nordland 数据集上达到最先进的性能。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。