[論文レビュー] Dense Semantic 3D Map Based Long-Term Visual Localization with Hybrid Features

Tianxin Shi, Hainan Cui+2 more|arXiv (Cornell University)|May 21, 2020

Robotics and Sensor-Based Localization参考文献 52被引用数 5

ひとこと要約

本論文は、長期間にわたる外観変化に強いロバスト性を実現するため、密なセマンティック3Dマップと、手作業で設計された（SIFT）および学習された（R2D2）特徴を組み合わせたハイブリッド視覚的局所化手法を提案する。密度のあるセマンティック3Dモデルから得られるセマンティック整合性スコアを重み付きRANSAC PnPソルバーにおけるソフト制約として活用することで、Aachen Day-NightおよびRobotCar Seasonsベンチマークで最先端の性能を達成し、日中・夜間および季節的変化といった困難な条件下でも先行手法を上回る性能を発揮する。

ABSTRACT

Visual localization plays an important role in many applications. However, due to the large appearance variations such as season and illumination changes, as well as weather and day-night variations, it's still a big challenge for robust long-term visual localization algorithms. In this paper, we present a novel visual localization method using hybrid handcrafted and learned features with dense semantic 3D map. Hybrid features help us to make full use of their strengths in different imaging conditions, and the dense semantic map provide us reliable and complete geometric and semantic information for constructing sufficient 2D-3D matching pairs with semantic consistency scores. In our pipeline, we retrieve and score each candidate database image through the semantic consistency between the dense model and the query image. Then the semantic consistency score is used as a soft constraint in the weighted RANSAC-based PnP pose solver. Experimental results on long-term visual localization benchmarks demonstrate the effectiveness of our method compared with state-of-the-arts.

研究の動機と目的

• 日中・夜間、季節的および天候的変化を含む大規模な外観変化に起因する視覚的局所化の課題に対処すること。
• スパース3Dモデルや従来の特徴記述子（例：SIFT）の限界を克服し、外観シフトに伴う性能劣化を緩和すること。
• 幾何的マッチングパイプラインに高レベルのセマンティック情報を統合することで、局所化のロバスト性を向上させること。
• 手作業特徴と学習特徴を効果的に統合する統一フレームワークを構築すること。
• セマンティック整合性スコアをソフト制約として用いることで、候補画像の検索とポーズ推定の精度を向上させること。

提案手法

• スパースSfMモデルに代わる、市販のMultiple View Stereo（MVS）手法を用いて密なセマンティック3Dマップを構築する。
• SIFT（手作業特徴）とR2D2（学習特徴）の両方を用いて、多様な撮影条件下でもロバストな特徴マッチングを実現する。
• ハイブリッド特徴を用いた画像検索を行い、3D-2Dセマンティック対応関係に基づいてクエリ画像とデータベース画像間のセマンティック整合性スコアを計算する。
• セマンティック整合性スコアを重み付きRANSACベースのPnPポーズソルバーにおけるソフト制約として適用し、カメラポーズ推定を精緻化する。
• スパースモデルと比較して、セマンティックマップ内の密な3Dポイントを活用することで、セマンティック整合性スコアの判別力が向上することを実現する。
• インスタンスセグメンテーションまたはセマンティックセグメンテーションを用いてセマンティックラベルを3Dマップに統合し、セマンティックに配慮したマッチングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 手作業特徴と学習特徴を組み合わせることで、大規模な外観変化に起因する視覚的局所化のロバスト性が向上するか？
• RQ2 スパースモデルと比較して、密なセマンティック3Dマップはセマンティック整合性スコアの判別力にどのように寄与するか？
• RQ3 セマンティック整合性をソフト制約として組み込むことで、長期的局所化におけるポーズ推定精度はどの程度向上するか？
• RQ4 本手法は、日中・夜間および季節的変化といった極端な外観変化を伴うベンチマークで、最先端の手法を上回る性能を発揮するか？
• RQ5 クエリ画像がデータベースとは反対方向に撮影された場合、本手法の性能はどのように変化するか？

主な発見

• Aachen Day-Nightデータセットでは、0.25m/0.50m/5.0mの閾値でそれぞれ89.3% / 95.4% / 97.6%の精度を達成し、2°/5°/10°の閾値で44.9% / 67.3% / 87.8%の精度を示し、粗い精度指標を除きすべてのベースラインを上回る。
• アブレーションスタディでは、セマンティック整合性を除去することで、日中のmAPが8.8%向上、夜間のmAPが2.0%向上することが確認され、セマンティックスコアの有効性が裏付けられた。
• RobotCar Seasonsデータセットでは、0.25m/0.50m/5.0mの閾値でそれぞれ54.6% / 81.9% / 96.9%の精度、2°/5°/10°の閾値で14.8% / 33.0% / 51.3%の精度を達成し、提出時時点で逆方向クエリの課題にもかかわらず1位を獲得した。
• SIFTは日中の条件下で最も優れた性能を示した一方、R2D2は夜間条件下で優れた性能を示し、ハイブリッド特徴の相補的な強みが裏付けられた。
• SIFTとR2D2のハイブリッド特徴アプローチは、単独で使用する場合と比較して、すべての条件下で優れた性能を発揮した。
• 密なセマンティック3Dマップは、スパースモデルと比較してより信頼性が高く判別力に優れたセマンティック整合性スコアを提供し、検索精度の向上とポーズ推定のロバスト性の強化に寄与した。