[論文レビュー] Benchmarking 6-DOF Outdoor Visual Localization in Changing Conditions

Torsten Sattler|arXiv (Cornell University)|Jul 28, 2017

Robotics and Sensor-Based Localization参考文献 68被引用数 32

ひとこと要約

本論文は、昼夜の変化、天候、季節的変化といった現実世界の変化条件下での6自由度視覚的局所化を評価することを目的とした、Aachen Day-Night、RobotCar Seasons、CMU Seasonsの3つのベンチマークデータセットを初めて提案した。手動で検証された真値ポーズを用いて、最先端の局所化手法がこれらの条件下で著しく性能を発揮しないことを示し、特に夜間や季節的変化の影響を強く受けることが明らかになった。また、1枚の画像ではなく複数枚の画像（シーケンス）を用いるアプローチが、単一画像クエリに比べて顕著な性能向上をもたらすことを示した。

ABSTRACT

Visual localization enables autonomous vehicles to navigate in their surroundings and augmented reality applications to link virtual to real worlds. Practical visual localization approaches need to be robust to a wide variety of viewing condition, including day-night changes, as well as weather and seasonal variations, while providing highly accurate 6 degree-of-freedom (6DOF) camera pose estimates. In this paper, we introduce the first benchmark datasets specifically designed for analyzing the impact of such factors on visual localization. Using carefully created ground truth poses for query images taken under a wide variety of conditions, we evaluate the impact of various factors on 6DOF camera pose estimation accuracy through extensive experiments with state-of-the-art localization approaches. Based on our results, we draw conclusions about the difficulty of different conditions, showing that long-term localization is far from solved, and propose promising avenues for future work, including sequence-based localization approaches and the need for better local features. Our benchmark is available at visuallocalization.net.

研究の動機と目的

• 昼夜の遷移、天候、季節的変化といった現実世界の変化条件下での6自由度視覚的局所化を評価するための標準化されたベンチマークが不足しているという問題に取り組むこと。
• 長期間にわたる自律走行において一般的に見られる厳しい視認条件下での、最先端の局所化アルゴリズムのロバスト性を評価すること。
• 照明、天候、植生の変化といった異なる環境要因が、局所化精度に与える影響を調査すること。
• 悪条件下における局所化において、1枚の画像ではなく複数枚の画像（シーケンス）を用いる利点を検討すること。
• 将来的な長期間視覚的局所化分野の研究を促進するために、正確な真値を備えた公開可能で高品質なベンチマークデータセットを提供すること。

提案手法

• 著者らは、屋外用の3つの新しいベンチマークデータセット（Aachen Day-Night、RobotCar Seasons、CMU Seasons）を構築した。各データセットは、ある条件下で撮影された画像から3次元SfMモデルを構築し、異なる条件下で撮影されたクエリ画像を含む。
• クエリ画像の真値6DOFポーズは、異なる条件下での2次元対応点を手動で特定し、その後幾何的検証を実施することで正確性を保証した。
• 本ベンチマークは、歩行者および車両の局所化、単一画像およびシーケンスベースのクエリ、昼/夜、天候、季節的変化を含むさまざまな環境条件の下での評価をサポートする。
• NetVLAD、DenseVLAD、Active Search、CSL、FABMAP、LocalSfM、およびシーケンスベースのアプローチ（AS+GC(seq)）を含む最先端の局所化手法を、位置および姿勢の誤差閾値内にクエリが局所化された割合といった標準的な指標を用いて評価した。
• Aachen（昼/夜）、RobotCar（昼/夜、天候）、CMU（植生の季節的変化、都市/準都市/公園環境）の3つのデータセットを用いて、さまざまな条件下での実験を実施した。
• 評価には、位置および姿勢誤差の累積分布関数が含まれており、全定量的結果が複数の誤差閾値（例：位置は0.25m、0.5m、5.0m；姿勢は2°、5°、10°）について報告されている。

実験結果

リサーチクエスチョン

• RQ1 都市環境における昼夜の変化が、6自由度視覚的局所化の精度にどのように影響を与えるか？
• RQ2 雨、雪、低照度の太陽といった天候条件が、局所化性能にどの程度影響を与えるか？
• RQ3 植生の幾何学的変化が、視覚的局所化アルゴリズムのロバスト性に与える影響は何か？
• RQ4 悪条件下において、シーケンスベースの局所化が単一画像クエリに比べて顕著に精度を向上させることができるか？
• RQ5 多様で変化し続ける環境条件下で、最もロバストなローカル特徴記述子およびリtrieval手法は何か？

主な発見

• NetVLAD や DenseVLAD といった最先端手法は、CMU Seasons データセットの低照度条件下で、それぞれ0.25m/2°以内の精度が10.4%および13.2%にとどまり、顕著な性能低下が確認された。
• シーケンスベースの Active Search とグローバル一貫性（AS+GC(seq)）手法は、CMU データセットの低照度条件下で99.8%の局所化精度（0.25m/2°以内）を達成し、単一画像手法を著しく上回った。
• 夜間条件下では局所化精度が急激に低下する：Aachen Day-Night データセットでは、Active Search を用いた場合、0.25m/2°以内に局所化されたクエリは28.8%にとどまり、シーケンスベース手法では86.6%に上昇した。
• 季節による植生の変化が大きな影響を与える：CMU データセットにおいて、単一画像に LocalSfM を適用した場合、葉が茂っている状態では70.8%の精度を示したが、葉が落ちた状態では41.8%に低下した。
• CMU Seasons データセットでは、都市部のシーンは LocalSfM を用いて72.8%の精度（0.25m/2°以内）で局所化可能だが、葉が落ちた公園環境では精度が41.8%に低下し、幾何学的変化の挑戦性が顕著に現れた。
• 本研究は、極端な照度変化や季節的変化下での単一画像クエリにおける長期間視覚的局所化が未解決の課題のままであり、特にロバストな性能を発揮するにはシーケンスベースのアプローチが不可欠であることを確認した。