[論文レビュー] A Multi-Domain Feature Learning Method for Visual Place Recognition

Peng Yin, Lingyun Xu+7 more|arXiv (Cornell University)|Feb 26, 2019

Robotics and Sensor-Based Localization参考文献 19被引用数 5

ひとこと要約

本稿では、環境依存的属性を場所固有の特徴から分離することで、条件に依存しない特徴を抽出するCapsuleNetベースのアーキテクチャを用いた、視覚的場所認識のためのマルチドメイン特徴学習（MDFL）手法を提案する。本手法は、天候や季節の変化にさらされても高いロバスト性を示し、NORDLANDおよびGTAVデータセットの両方で最先端のAUCスコアを達成しており、NORDLANDでは0.912のAUC、GTAVでは0.790のAUCを記録した。

ABSTRACT

Visual Place Recognition (VPR) is an important component in both computer vision and robotics applications, thanks to its ability to determine whether a place has been visited and where specifically. A major challenge in VPR is to handle changes of environmental conditions including weather, season and illumination. Most VPR methods try to improve the place recognition performance by ignoring the environmental factors, leading to decreased accuracy decreases when environmental conditions change significantly, such as day versus night. To this end, we propose an end-to-end conditional visual place recognition method. Specifically, we introduce the multi-domain feature learning method (MDFL) to capture multiple attribute-descriptions for a given place, and then use a feature detaching module to separate the environmental condition-related features from those that are not. The only label required within this feature learning pipeline is the environmental condition. Evaluation of the proposed method is conducted on the multi-season extit{NORDLAND} dataset, and the multi-weather extit{GTAV} dataset. Experimental results show that our method improves the feature robustness against variant environmental conditions.

研究の動機と目的

• 天候、季節、照明の変化といった顕著な環境変化下での視覚的場所認識の課題に対処すること。
• 異なる条件下でも安定した特徴を維持できる条件に依存しない表現を学習することで、特徴のロバスト性を向上させること。
• 情報理論的手法を用いて、環境条件関連の特徴と場所固有の特徴を間接的に分離する特徴分離機構を開発すること。
• 実世界（NORDLAND）および合成データ（GTAV）の両方のデータセットを用い、多様な環境条件下で手法を評価すること。
• CapsuleNetベースの特徴学習が、従来のCNNと比較して、場所認識における幾何的特徴のクラスタリングをより効果的に行えることを実証すること。

提案手法

• 生画像からマルチドメイン特徴を学習するため、CapsuleNetベースの特徴抽出モジュールを用い、空間的関係を保持するとともに、視点や外観の変化に対するロバスト性を向上させる。
• 環境条件ラベルを活用して、条件関連特徴と条件に依存しない特徴を、統合された特徴分布内で分離する条件付き特徴分離モジュールを適用する。
• クエリ軌跡特徴を、学習済みの特徴差分を用いて比較することでループクロージャを同定する、軌跡ベースのマッチング機構を採用する。
• 特徴学習段階では、場所の識別ラベルを一切使用せず、環境条件ラベルのみを教師信号として、モデルをエンドツーエンドで学習する。
• CapsuleNetにおける動的ルーティングを活用し、低レベルの幾何的特徴を、環境の変化に対してより耐性のある高レベルの意味的意味のある表現にクラスタリングする。
• 情報理論的最適化を用いて、環境要因と場所固有の記述子を分離するのを強化する特徴分離機構を実装する。

実験結果

リサーチクエスチョン

• RQ1 CapsuleNetベースのアーキテクチャは、環境条件の変化にさらされた状況下でも、視覚的場所認識のための特徴学習を改善できるか？
• RQ2 環境条件ラベルのみを用いて、条件に依存する特徴と条件に依存しない特徴をどれほど効果的に分離できるか？
• RQ3 マルチドメイン特徴学習は、従来のCNNベースや手作業特徴手法と比較して、季節や天候の変化にわたる一般化性能を向上させるか？
• RQ4 本手法は、環境条件が多様な実世界（NORDLAND）および合成データ（GTAV）の両方のデータセットで、どの程度の性能を示すか？
• RQ5 特徴分離機構は、視点の変化や外観の変化に対するロバスト性をどの程度向上させるか？

主な発見

• MDFL手法は、NORDLANDデータセットで平均AUC 0.912、GTAVデータセットでAUC 0.790を達成し、VGG16、SeqSLAM、BiGANを含むすべてのベースライン手法を上回った。
• NORDLANDデータセットでは、BiGAN（AUC 0.345）を著しく上回ったことから、条件に配慮した特徴学習の有効性が示された。
• GTAVデータセットでは、MDFLがVGG16（AUC 0.715）とBiGAN（AUC 0.627）を上回り、天候の変化に対するロバスト性の向上が裏付けられた。
• 視点の変化や動的物体の影響に対しても、特に強みを示した。GTAVデータセットにおける高い視点ばらつきにもかかわらず、一貫した性能を維持した。
• SeqSLAMは、グレースケール入力により外観のばらつきが減少したNORDLANDでは良好な性能を示したが、視点の変化に敏感なためGTAVでは失敗した。これは、学習済み特徴の優位性を示している。
• CapsuleNetベースのアーキテクチャにより、低レベルの幾何的特徴が高レベルの意味的表現に効果的にクラスタリングされ、環境条件の変化にわたる一般化性能の向上に寄与した。