[論文レビュー] Visual Localization Using Semantic Segmentation and Depth Prediction

Huanhuan Fan, Yuhao Zhou+4 more|arXiv (Cornell University)|May 25, 2020

Advanced Vision and Imaging参考文献 32被引用数 7

ひとこと要約

本論文は、セマンティックセグメンテーション、深度予測、および改善された特徴マッチングを統合することで、正確性と耐障害性を向上させる単眼視覚局所化パイプラインを提案する。セマンティック一貫性重み付け（SCW）、セマンティック一貫性チェック（SCC）、深度一貫性検証（DCV）、および重み付き-RANSAC方式を用いることで、誤ったマッチングや外れ値を顕著に低減し、Long-Term Visual Localization 2020ベンチマークで最先端の性能を達成した。

ABSTRACT

In this paper, we propose a monocular visual localization pipeline leveraging semantic and depth cues. We apply semantic consistency evaluation to rank the image retrieval results and a practical clustering technique to reject estimation outliers. In addition, we demonstrate a substantial performance boost achieved with a combination of multiple feature extractors. Furthermore, by using depth prediction with a deep neural network, we show that a significant amount of falsely matched keypoints are identified and eliminated. The proposed pipeline outperforms most of the existing approaches at the Long-Term Visual Localization benchmark 2020.

研究の動機と目的

• 大規模な視点および照明変動下における画像検索の不正確さと誤ったキーポoinトマッチングの課題に対処すること。
• セマンティックおよび深度の手がかりを活用して一貫性のないマッチングを除外することで、6-DoFポーズ推定を改善すること。
• セマンティック一貫性と適応的しきい値を用いたRANSACベースの外れ値除去の耐障害性を向上させること。
• R2D2とSuperPointの複数の学習ベース特徴抽出器の組み合わせが、局所化性能を向上させることを実証すること。

提案手法

• マッチドキーポイントのセマンティックラベルの一貫性に基づいて、画像検索結果の再順序付けを実行するセマンティック一貫性重み付け（SCW）を提案する。
• マッチドキーポイントのセマンティックラベルを比較することで、誤ったマッチングを検証・除外するセマンティック一貫性チェック（SCC）を導入する。
• ニューラルネットワークから予測された深度と3次元点から推定された深度を比較するための適応的順序コスト（AOC）を用いた深度一貫性検証（DCV）を採用する。これにより、一貫性のないマッチングを同定する。
• セマンティック一貫性スコア（SCW）に基づいてRANSACしきい値を動的に低下させる重み付き-RANSAC方式を用いることで、外れ値に対する耐障害性を向上させる。
• R2D2とSuperPointの複数の特徴抽出器を組み合わせることで、信頼性の高い特徴点の数を増やし、マッチング精度を向上させる。
• クラスタリングを用いて外れ値の検索結果を除外し、重み付きマッチングを用いたPnPにより最終的なポーズ推定を実行する。

実験結果

リサーチクエスチョン

• RQ1 マッチドキーポイント間のセマンティック一貫性は、視覚局所化における画像検索順位の向上と誤検出の低減に寄与するか？
• RQ2 単眼深度予測を用いた深度一貫性検証は、誤ったキーポイントマッチングの同定と削除にどの程度効果的か？
• RQ3 セマンティック一貫性に適応する重み付き-RANSAC方式は、ポーズ推定の耐障害性と正確性を向上させることができるか？
• RQ4 R2D2とSuperPointの学習ベース特徴抽出器を組み合わせることで、単一特徴抽出アプローチと比較して、局所化性能はどの程度向上するか？
• RQ5 セマンティックおよび深度の手がかりの統合は、長期的視覚局所化ベンチマークにおける局所化正確性を顕著に向上させるか？

主な発見

• 提案されたパイプラインは、Long-Term Visual Localization 2020ベンチマークで最先端の性能を達成し、大多数の既存手法を上回った。
• セマンティック一貫性重み付け（SCW）は、マッチドキーポイントのセマンティックラベルの一貫性を活用することで、誤った画像検索結果を効果的に低減した。
• SCCとDCVの組み合わせは、誤ったキーポイントマッチングを顕著に低減し、DCVは適応的順序コストを用いた深度一貫性により、一貫性のないマッチングを同定した。
• R2D2とSuperPointの両方の特徴抽出器を用いることで、信頼性の高いマッチングの数が増加し、より高い局所化正確性が達成された。
• SCWに基づく適応的しきい値を有する重み付き-RANSAC方式は、耐障害性を向上させるとともに、ポーズ推定誤差を低減した。
• ホモロジー結果のクラスタリングにより、検索外れ値が除外され、パイプライン全体の信頼性がさらに向上した。