[論文レビュー] Condition directed Multi-domain Adversarial Learning for Loop Closure Detection

Peng Yin, Yuqing He+2 more|arXiv (Cornell University)|Nov 21, 2017

Advanced Vision and Imaging参考文献 6被引用数 3

ひとこと要約

本論文は、視覚SLAMにおけるループ閉じる検出（LCD）のための条件誘導型マルチドメイン敵対的学習フレームワークを提案する。天候状況を教師として用い、GANと分類ネットワークを用いて天候に依存しない特徴を学習する。本手法は、GTAVシミュレータ上で最先端の手法を上回り、天候条件ラベルのみを用いて、生の画像から高レベルで、照度に強い表現を効果的に捉えている。

ABSTRACT

Loop closure detection (LCD) is the key module in appearance based simultaneously localization and mapping (SLAM). However, in the real life, the appearance of visual inputs are usually affected by the illumination changes and texture changes under different weather conditions. Traditional methods in LCD usually rely on handcraft features, however, such methods are unable to capture the common descriptions under different weather conditions, such as rainy, foggy and sunny. Furthermore, traditional handcraft features could not capture the highly level understanding for the local scenes. In this paper, we proposed a novel condition directed multi-domain adversarial learning method, where we use the weather condition as the direction for feature inference. Based on the generative adversarial networks (GANs) and a classification networks, the proposed method could extract the high-level weather-invariant features directly from the raw data. The only labels required here are the weather condition of each visual input. Experiments are conducted in the GTAV game simulator, which could generated lifelike outdoor scenes under different weather conditions. The performance of LCD results shows that our method outperforms the state-of-arts significantly.

研究の動機と目的

• 視覚SLAMにおける変化する天候および照明条件下でのループ閉じる検出の課題に対処すること。
• 手作業で作成した記述子に依存せずに、高レベルの天候不変視覚的特徴を学習すること。
• エンドツーエンドの特徴学習にのみ天候状況ラベルを活用することで、アノテーションの負担を軽減すること。
• 実世界の動的な環境変化を伴う状況において、LCDの頑健性と一般化性能を向上させること。

提案手法

• フレームワークは、異なる天候条件下での画像生成を可能にし、ドメイン不変特徴学習を可能にする条件付き生成的敵対ネットワーク（cGAN）を採用する。
• 入力画像の天候状況を予測する分類ネットワークを訓練し、特徴抽出器が天候に頑健な表現を学習するように誘導する。
• 特徴抽出器は、天候ドメイン間のドメインシフトを最小限に抑えるとともに、ループ閉じるインスタンスの同一性を保持するように共同最適化される。
• 敵対的訓練により、特徴空間がコンテンツと天候固有の属性を分離するよう促される。
• 本手法は、手作業で作成した特徴に依存せず、天候状況のアノテーションのみに依存して学習を行う。
• マルチドメイン敵対的損失により、異なる天候ドメインからの特徴が潜在空間で区別不能になるように保証される。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、天候状況ラベルのみを用いて、ループ閉じる検出のための天候不変視覚的特徴を学習できるか？
• RQ2 条件誘導型マルチドメイン敵対的学習は、照度および天候の変動に対する頑健性をどのように向上させるか？
• RQ3 提案手法は、多様な環境条件下で、従来の手作業で作成した特徴ベースの手法をどの程度上回るか？
• RQ4 敵対的訓練は、視覚的特徴におけるコンテンツと天候固有の属性を効果的に分離できるか？

主な発見

• 提案手法は、さまざまな天候条件下でGTAVシミュレータ上で最先端のLCD手法を顕著に上回っている。
• 特に霧や雨のような困難な条件下でも、ベースライン手法に比べてより高い精度と再現率を達成している。
• 天候状況ラベルのみを用いることで、複雑なデータ拡張や人間がアノテートしたシーン記述が不要な状態で効果的な特徴学習が可能である。
• 敵対的訓練方式により、天候ドメイン間のドメインシフトが著しく低減され、環境変化に対する一般化性能が向上した。