[论文解读] Condition-Invariant Multi-View Place Recognition

José M. Fácil, Daniel Olid+2 more|arXiv (Cornell University)|Feb 25, 2019

Robotics and Sensor-Based Localization参考文献 36被引用 39

一句话总结

该论文提出三种基于深度学习的多视角架构（Descriptor Grouping、Descriptor Fusion、Recurrent Descriptors），通过学习帧序列来提升在外观变化下的视觉位置识别。与单视图和 SeqSLAM 基线相比，这些模型在描述符显著更小的情况下实现更好的性能。

ABSTRACT

Visual place recognition is particularly challenging when places suffer changes in its appearance. Such changes are indeed common, e.g., due to weather, night/day or seasons. In this paper we leverage on recent research using deep networks, and explore how they can be improved by exploiting the temporal sequence information. Specifically, we propose 3 different alternatives (Descriptor Grouping, Fusion and Recurrent Descriptors) for deep networks to use several frames of a sequence. We show that our approaches produce more compact and best performing descriptors than single- and multi-view baselines in the literature in two public databases.

研究动机与目标

• 在外观变化下提升视觉位置识别的鲁棒性（天气、白天夜晚、季节、动态等）。
• 通过学习帧序列而不是依赖单张图像来利用多视角信息。
• 开发并评估三种深度学习架构，以高效融合多帧描述符。

提出的方法

• 使用 ResNet-50 作为骨干网络，从每一帧提取 128 维描述符。
• Descriptor Grouping：将来自一个时间窗内的描述符连接，形成一个 128×n 的序列描述符。
• Descriptor Fusion：通过额外的全连接层，从 n 帧的输出中学习一个 128 维的融合描述符。
• Recurrent Descriptors：将每帧描述符输入到一个 LSTM，以产生一个 128 维的序列描述符并随时间更新。
• 用三元组损失（Wohlhart-Lepetit）训练所有模型，以将同一地点序列拉近，将不同地点序列推远。
• 在 Nordland 和 Alderley 数据集上进行评估，并与单视图基线和 SeqSLAM 进行比较。

实验结果

研究问题

• RQ1 多视角深度表示是否能够在强烈外观变化下提升位置识别？
• RQ2 哪种多视角融合策略（分组、融合还是循环）在准确性与描述符紧凑性之间提供最佳折中？
• RQ3 在序列顺序颠倒或速度变化等变动下，这些模型的表现如何？

主要发现

• Descriptor Grouping 在 Partitioned Nordland 上使用 3 帧实现最高精度（92% 精度），描述符为 384。
• Descriptor Fusion 在 Nordland 上以 3 帧获得 87% 精度，描述符大小为 128，并在较小描述符尺寸下超越了许多基线。
• Recurrent Descriptors 在 Nordland 上以 3 帧实现 85% 精度，且对序列动态具有较强鲁棒性。
• 当使用相同数量的帧时，三种多视图模型均优于单视图基线和 SeqSLAM。
• 描述符尺寸远小于许多基线（如 384 或 128 维），同时提供更高的准确性。
• 在 Alderley（白天 vs 夜晚）上，多视角方法（分组）仍然是表现最好的模型。