[論文レビュー] MegLoc: A Robust and Accurate Visual Localization Pipeline

Shuxue Peng, Zihang He+5 more|arXiv (Cornell University)|Nov 25, 2021

Robotics and Sensor-Based Localization参考文献 24被引用数 6

ひとこと要約

MegLocは、グローバルおよびローカル特徴マッチングとマルチステージのリファインメントを組み合わせることで、季節的・照明的・時間的変化にさらされる厳しい条件下でも信頼性の高いポーズ推定を実現する、ロバストで高精度な6-DoFビジョナルカルシフィケーションパイプラインです。複数のベンチマークで最先端の性能を達成しており、ICCV 2021の屋外および屋内ビジョナルカルシフィケーションチャレンジで優勝を果たしました。

ABSTRACT

In this paper, we present a visual localization pipeline, namely MegLoc, for robust and accurate 6-DoF pose estimation under varying scenarios, including indoor and outdoor scenes, different time across a day, different seasons across a year, and even across years. MegLoc achieves state-of-the-art results on a range of challenging datasets, including winning the Outdoor and Indoor Visual Localization Challenge of ICCV 2021 Workshop on Long-term Visual Localization under Changing Conditions, as well as the Re-localization Challenge for Autonomous Driving of ICCV 2021 Workshop on Map-based Localization for Autonomous Driving.

研究の動機と目的

• 季節的・日中の変化や長期的な変化を含む極端な外観変化にさらされても、高い精度とロバスト性を維持するビジョナルカルシフィケーションパイプラインの開発。
• 従来の画像リtrievalが低テクスチャまたは繰り返しのある屋内シーンで失敗する問題を解決するため、ビュー整合性と知覚的類似度を用いたリランクイング戦略の導入。
• マッピングとロケーションの2段階パイプラインを採用し、エンド・トゥ・エンドでトレーニング可能なリファインメント部品を統合することで、ポーズ推定精度の向上。
• MVS や NeRF-W などの高密度再構築およびニューラルレンダリング技術の統合を検討し、3Dマップ品質とロケーションのロバスト性の向上。
• 長期間にわたる運用や自律走行のシナリオを含む、多様で現実世界のビジョナルカルシフィケーションベンチマークで最先端の性能を達成すること。

提案手法

• 2段階のパイプラインを採用：マッピング（リファレンスマッチング、COLMAPによるトリアングレーション、深度検証、不確実性の除外）とロケーション（グローバル記述子の統合、ローカル特徴マッチング、PnP、ポーズのリランクイング）。
• リサイズ（最大1600px）、CityScapesで学習したDeepLab-V3+による動的オブジェクトのセマンティックマスク、レンズの歪み補正などの画像前処理を実施し、特徴の信頼性を向上。
• SuperPointとASLFeatを組み合わせてローカル特徴抽出を実施。NMSおよびしきい値チューニングにより、1画像あたり約1500キーポoinが得られ、相補的な強みを活かした。
• NetVLADを用いてグローバル特徴を抽出。微分可能でソフトアサインメントに基づく画像リtrievalを可能にし、エンド・トゥ・エンドでのトレーニングにより外観変化に対するロバスト性を向上。
• 密度のある深度マップまたは微分可能レンダリングを用いて、ICPベースおよびレンダリングベースのポーズリファインメントを実施し、初期ポーズを真値の幾何構造に最適化。
• 屋内シーンでは、推定されたポーズに基づき候補ビューをクエリに整合させ、深層特徴マップ上のL2距離を測定することで、知覚的類似度に基づくリランクイング戦略を導入。

実験結果

リサーチクエスチョン

• RQ1 どのような方法で、季節的・日中の変化のような顕著な外観変化に対しても、ビジョナルカルシフィケーションパイプラインが高い精度とロバスト性を維持できるか？
• RQ2 グローバル記述子が失敗する低テクスチャまたは繰り返しのある屋内環境において、画像リtrievalの信頼性を向上させる戦略は何か？
• RQ3 ICPおよび微分可能レンダリングを用いたマルチステージのリファインメントは、PnPによる初期ポーズ推定をどの程度改善できるか？
• RQ4 MVS や NeRF-W といった高密度再構築およびニューラルレンダリング技術の統合により、長期的なシナリオにおけるマップ品質とロケーション性能を向上できるか？
• RQ5 モジュラー設計は、代替のマッピングまたは特徴抽出コンponentsとのプラグアンドプレイ統合をどの程度可能にするか？

主な発見

• MegLocは、ICCV 2021の屋外および屋内ビジョナルカルシフィケーションチャレンジで優勝を果たすなど、複数のベンチマークで最先端の性能を達成した。
• セマンティックマスクと画像の歪み補正の適用により、特に動的または歪みのあるシーンにおいてキーポイントの信頼性とマッチング精度が顕著に向上した。
• SuperPointとASLFeatの統合により、1画像あたり約1500キーポイントが得られ、多様な環境においてカバレッジと特徴の識別力のバランスを良好に維持した。
• NetVLADを用いたグローバル特徴抽出により、深刻な照明変化や季節的変化に対しても、従来のBoWやSIFTベースの手法を上回るロバストな画像リtrievalが実現した。
• 知覚的類似度に基づくリランクイング戦略により、構造的に類似した候補ビューを選択することで、屋内シーンにおけるロケーション精度が向上し、グローバル記述子類似度の限界を補った。
• ICPおよび微分可能レンダリングベースのポーズリファインメントにより、ポーズ誤差が顕著に低減され、特にレンダリングベースの最適化が光度的一致性に優れた性能を示した。