[论文解读] Condition directed Multi-domain Adversarial Learning for Loop Closure Detection

Peng Yin, Yuqing He+2 more|arXiv (Cornell University)|Nov 21, 2017

Advanced Vision and Imaging参考文献 6被引用 3

一句话总结

本文提出了一种条件导向的多域对抗学习框架，用于视觉SLAM中的回环检测（LCD），利用天气条件作为监督信号，通过生成对抗网络（GANs）和分类网络学习对天气不变的特征。该方法在GTAV模拟器上优于最先进方法，仅使用天气条件标签即可从原始图像中有效捕捉到高层次、抗光照变化的表征。

ABSTRACT

Loop closure detection (LCD) is the key module in appearance based simultaneously localization and mapping (SLAM). However, in the real life, the appearance of visual inputs are usually affected by the illumination changes and texture changes under different weather conditions. Traditional methods in LCD usually rely on handcraft features, however, such methods are unable to capture the common descriptions under different weather conditions, such as rainy, foggy and sunny. Furthermore, traditional handcraft features could not capture the highly level understanding for the local scenes. In this paper, we proposed a novel condition directed multi-domain adversarial learning method, where we use the weather condition as the direction for feature inference. Based on the generative adversarial networks (GANs) and a classification networks, the proposed method could extract the high-level weather-invariant features directly from the raw data. The only labels required here are the weather condition of each visual input. Experiments are conducted in the GTAV game simulator, which could generated lifelike outdoor scenes under different weather conditions. The performance of LCD results shows that our method outperforms the state-of-arts significantly.

研究动机与目标

• 解决视觉SLAM中在不同天气和光照条件下回环检测的挑战。
• 在不依赖手工设计描述符的情况下，学习高层级、对天气不变的视觉特征。
• 仅使用天气条件标签实现端到端的特征学习，减轻标注负担。
• 提高在具有动态环境变化的真实场景中LCD的鲁棒性和泛化能力。

提出的方法

• 该框架采用条件生成对抗网络（cGAN）生成不同天气条件下的图像，以实现域不变的特征学习。
• 训练一个分类网络以预测输入图像的天气条件，引导特征提取器学习对天气鲁棒的表征。
• 联合优化特征提取器，以最小化不同天气域之间的域偏移，同时保持回环检测实例的身份一致性。
• 通过对抗训练，促使特征空间将内容与特定天气属性解耦。
• 该方法在原始RGB图像上进行训练，无需手工特征，仅依赖天气条件标注。
• 多域对抗损失确保不同天气域的特征在潜在空间中不可区分。

实验结果

研究问题

• RQ1 深度学习模型能否仅使用天气条件标签，学习到用于回环检测的对天气不变的视觉特征？
• RQ2 条件导向的多域对抗学习在多变光照和天气条件下的鲁棒性方面有何提升？
• RQ3 在多变环境条件下，该方法相较于传统手工特征方法的性能提升程度如何？
• RQ4 对抗训练能否有效实现视觉特征中内容与特定天气属性的解耦？

主要发现

• 在GTAV模拟器上，该方法在不同天气条件下显著优于最先进LCD方法。
• 与基线方法相比，该模型在回环检测中实现了更高的精确率和召回率，尤其在雾天和雨天等挑战性条件下表现更优。
• 仅使用天气条件标签即可实现有效的特征学习，无需复杂的数据增强或人工标注的场景描述。
• 对抗训练方案成功减少了不同天气域之间的域偏移，提升了在环境变化中的泛化能力。