[论文解读] A Multi-Domain Feature Learning Method for Visual Place Recognition

Peng Yin, Lingyun Xu+7 more|arXiv (Cornell University)|Feb 26, 2019

Robotics and Sensor-Based Localization参考文献 19被引用 5

一句话总结

本文提出了一种用于视觉位置识别的多领域特征学习（MDFL）方法，采用基于胶囊网络（CapsuleNet）的架构，通过将环境依赖属性与特定地点特征分离，提取条件不变特征。该方法在不同天气和季节条件下表现出更强的鲁棒性，在NORDLAND和GTAV数据集上均取得了当前最优的AUC分数，NORDLAND的AUC为0.912，GTAV的AUC为0.790。

ABSTRACT

Visual Place Recognition (VPR) is an important component in both computer vision and robotics applications, thanks to its ability to determine whether a place has been visited and where specifically. A major challenge in VPR is to handle changes of environmental conditions including weather, season and illumination. Most VPR methods try to improve the place recognition performance by ignoring the environmental factors, leading to decreased accuracy decreases when environmental conditions change significantly, such as day versus night. To this end, we propose an end-to-end conditional visual place recognition method. Specifically, we introduce the multi-domain feature learning method (MDFL) to capture multiple attribute-descriptions for a given place, and then use a feature detaching module to separate the environmental condition-related features from those that are not. The only label required within this feature learning pipeline is the environmental condition. Evaluation of the proposed method is conducted on the multi-season extit{NORDLAND} dataset, and the multi-weather extit{GTAV} dataset. Experimental results show that our method improves the feature robustness against variant environmental conditions.

研究动机与目标

• 解决在天气、季节和光照等显著环境变化下的视觉位置识别挑战。
• 通过学习条件不变表示来提升特征鲁棒性，使其在不同条件下保持稳定。
• 开发一种特征分离机制，通过信息论方法间接将与环境条件相关的特征与特定地点特征分离。
• 在包含多样化环境条件的真实世界（NORDLAND）和合成（GTAV）数据集上评估该方法。
• 证明基于胶囊网络的特征学习可实现比传统CNN更好的几何特征聚类，从而提升位置识别性能。

提出的方法

• 使用基于胶囊网络的特征提取模块，从原始图像中学习多领域特征，保留空间关系并提升对视角和外观变化的鲁棒性。
• 应用条件特征分离模块，利用环境条件标签，在联合特征分布中解耦与条件相关的特征与条件不变的特征。
• 采用基于轨迹的匹配机制，通过比较查询轨迹特征的差异来识别回环。
• 仅使用环境条件标签作为监督信号，端到端训练模型，特征学习阶段无需地点身份标签。
• 在胶囊网络中使用动态路由，将低层次几何特征聚类为更高层次、语义更明确的表示，从而对环境变化更具鲁棒性。
• 实现特征解耦机制，通过信息论优化增强环境因素与特定地点描述符之间的分离。

实验结果

研究问题

• RQ1 基于胶囊网络的架构能否在不同环境条件下提升视觉位置识别的特征学习性能？
• RQ2 仅使用环境条件标签，能否有效学习并分离出条件不变特征与条件依赖特征？
• RQ3 与传统的CNN基或手工设计特征方法相比，多领域特征学习是否能实现对季节和天气变化更好的泛化能力？
• RQ4 该方法在包含多样化环境条件的真实世界（NORDLAND）和合成（GTAV）数据集上的表现如何？
• RQ5 特征分离机制在多大程度上增强了对视角变化和外观变化的鲁棒性？

主要发现

• MDFL方法在NORDLAND数据集上达到0.912的平均AUC，在GTAV数据集上达到0.790，优于所有基线方法，包括VGG16、SeqSLAM和BiGAN。
• 在NORDLAND数据集上，MDFL显著优于BiGAN（0.345 AUC），证明了条件感知特征学习的有效性。
• 在GTAV数据集上，MDFL达到0.790 AUC，超过VGG16（0.715）和BiGAN（0.627），表明对天气变化具有更强的鲁棒性。
• 该方法在处理视角变化和动态物体方面表现出色，这从其在GTAV数据集中高视角差异条件下的稳定表现中得到证实。
• SeqSLAM在NORDLAND上表现良好，因其使用灰度输入减少了外观变化；但在GTAV上表现不佳，因其对视角变化敏感，凸显了学习特征的优势。
• 基于胶囊网络的架构能够更好地将低层次几何特征聚类为更高层次的表示，从而提升在不同环境条件下的泛化能力。