[論文レビュー] Improved Visual Relocalization by Discovering Anchor Points

Soham Saha, Girish Varma+1 more|arXiv (Cornell University)|Nov 11, 2018

Robotics and Sensor-Based Localization被引用数 25

ひとこと要約

本論文は、GPS非利用環境における視覚的再局所化のための新しい深層学習アプローチを提案する。本手法は、現在の視点から見えている関連するアンカーポイント（ランドマーク）を発見することで、最近傍のランドマークに依存するのを避ける。タスクを、最も関連性の高いアンカーポイントを分類し、相対オフセットを回帰するマルチタスク学習問題として定式化することで、局所化精度が著しく向上し、Cambridge Landmarksのストリートシーンでは中央誤差が8m以上低減され、7 Scenesの屋内データセットでは全7つのデータセットで0.2m未満の局所化誤差を達成した。これは、幾何的再投影損失を用いたPoseNetなどの先行研究を上回る性能を示した。

ABSTRACT

We address the visual relocalization problem of predicting the location and camera orientation or pose (6DOF) of the given input scene. We propose a method based on how humans determine their location using the visible landmarks. We define anchor points uniformly across the route map and propose a deep learning architecture which predicts the most relevant anchor point present in the scene as well as the relative offsets with respect to it. The relevant anchor point need not be the nearest anchor point to the ground truth location, as it might not be visible due to the pose. Hence we propose a multi task loss function, which discovers the relevant anchor point, without needing the ground truth for it. We validate the effectiveness of our approach by experimenting on CambridgeLandmarks (large scale outdoor scenes) as well as 7 Scenes (indoor scenes) using variousCNN feature extractors. Our method improves the median error in indoor as well as outdoor localization datasets compared to the previous best deep learning model known as PoseNet (with geometric re-projection loss) using the same feature extractor. We improve the median error in localization in the specific case of Street scene, by over 8m.

研究の動機と目的

• GPSが利用できない環境（屋内や大規模な屋外エリア）における視覚的再局所化の課題に対処すること。
• 最近傍の点や幾何的に最適な点ではなく、視認可能な関連するランドマーク（アンカーポイント）を用いることで、人間のナビゲーションに類似したモデル化により局所化精度を向上させること。
• トレーニング中に真値のアンカーポイントラベルを必要としないように、エンドツーエンドで関連するアンカーポイントを発見する自己教師付き損失関数を設計することで、真値のアンカーポイントアノテーションの必要性を排除すること。
• 標準的なCNN特徴抽出器を用いて、大規模な屋外シーンと小規模な屋内シーンの両方の環境で堅牢な性能を達成すること。
• アンカーポイントの発見が、直接回帰や特徴量の置換のみに比べて、一般化性能と精度の両面で優れていることを示すこと。

提案手法

• アンカーポイントをルートマップ全体に均等に配置し、局所化の基準ランドマークとして定義する。
• 入力画像を事前に定義されたアンカーポイントのいずれかに分類する深層ニューラルネットワークをトレーニングし、視認可能な最も関連性の高いランドマークを特定する。
• ネットワークは同時に、予測されたアンカーポイントに対する6自由度（3次元位置と3次元向き）のオフセットを回帰する。
• トレーニング中に真値のアンカーポイントラベルを必要とせず、自動的に関連するアンカーポイントを発見する新しいマルチタスク損失関数を導入する。
• 損失関数は分類誤差と相対オフセット回帰誤差の両方を最小化し、明示的なアンカーポイントアノテーションが不要なエンドツーエンド学習を可能にする。
• 精度と推論速度のトレードオフを評価するために、複数のCNN特徴抽出器（GoogleNet、DenseNet、MobileNet）を用いてアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 真値のアンカーポイントラベルを必要とせず、深層学習モデルが局所化のための最も関連性の高い視認可能なアンカーポイントを自動で発見できるか？
• RQ2 最近傍の点や幾何的に最適な点ではなく、学習された視認可能なアンカーポイントを用いることで、屋内および屋外環境の両方で局所化精度が向上するか？
• RQ3 自己教師付き損失関数を用いた本手法のマルチタスク学習フレームワークは、幾何的再投影損失を用いたPoseNetのような直接回帰ベースラインと比較してどのように差がつくか？
• RQ4 局所化精度とモデルの複雑さの観点から、アンカーポイント間の最適な間隔は何か？
• RQ5 軽量な特徴抽出器（例：MobileNet）を用いても、リアルタイム性能を維持しながら高い精度を達成できるか？

主な発見

• 本手法は、PoseNetに幾何的再投影損失を適用した先行研究と比較して、Cambridge Landmarksデータセットのストリートシーンで中央誤差を8m以上低減した。
• 同じGoogleNet特徴抽出器を用いた場合、Cambridge Landmarksデータセットの6つの屋外シーンのうち4つで中央誤差が1.5m未満、回転誤差が4度未満となった。
• 7 Scenesデータセットの全屋内シーンにおいて、中央誤差が0.2m未満となり、先行する深層学習ベースの手法を著しく上回った。
• DenseNetを特徴抽出器として用いた場合、Shop Facadeシーンで93.76%、King’s Collegeシーンで93.52%の精度を達成し、同じ特徴抽出器を用いた単純な回帰器を上回った。
• MobileNetベースの実装では、FLOPsがGoogleNet（760M）より低く（569M）、DenseNet（5998M）よりも低い一方で、ほとんどのシーンでGoogleNetを上回る低い中央誤差を達成し、効率性と精度のトレードオフの優位性を示した。
• 定性的な結果から、学習されたアンカーポイントが最近傍のアンカーポイントよりも視認性が高く（例：木や遮蔽物に覆われていない）、意味的に関連性の高いランドマークを選択できていることが確認された。