[論文レビュー] To Learn or Not to Learn: Visual Localization from Essential Matrices

Qunjie Zhou, Torsten Sattler+2 more|arXiv (Cornell University)|Aug 4, 2019

Robotics and Sensor-Based Localization参考文献 90被引用数 10

ひとこと要約

本稿では、エッセンシャル行列の推定方法に依存しないRANSACベースのアプローチを用いて、視覚的局所化のための新規で軽量なフレームワークを提案する。学習された特徴量マッチングは一般化性能が良好である一方で、エッセンシャル行列のエンドツーエンド回帰は回帰ヘッドの一般化性能が低いため一般化に失敗し、さらにハイブリッドな学習特徴量でさえも古典的手法のSIFTに基づく手法に劣ることから、現在の学習ベースの視覚的局所化手法における根本的な限界が浮き彫りになる。

ABSTRACT

Visual localization is the problem of estimating a camera within a scene and a key component in computer vision applications such as self-driving cars and Mixed Reality. State-of-the-art approaches for accurate visual localization use scene-specific representations, resulting in the overhead of constructing these models when applying the techniques to new scenes. Recently, deep learning-based approaches based on relative pose estimation have been proposed, carrying the promise of easily adapting to new scenes. However, it has been shown such approaches are currently significantly less accurate than state-of-the-art approaches. In this paper, we are interested in analyzing this behavior. To this end, we propose a novel framework for visual localization from relative poses. Using a classical feature-based approach within this framework, we show state-of-the-art performance. Replacing the classical approach with learned alternatives at various levels, we then identify the reasons for why deep learned approaches do not perform well. Based on our analysis, we make recommendations for future work.

研究の動機と目的

• エンドツーエンドの深層学習ベースの視覚的局所化手法が相対姿勢推定を用いる場合、古典的手法に比べて性能が劣る理由を調査すること。
• エッセンシャル行列とRANSACを用いて、シーンに依存しない絶対カメラポーズを回復する汎用的かつシーンに依存しないフレームワークを構築すること。
• 一般化性能と精度に悪影響を及げる学習された相対姿勢推定の各構成要素を分離・分析すること。
• 古典的手法の特徴量ベース、エンドツーエンドの学習されたエッセンシャル行列回帰、ハイブリッドな学習特徴量マッチングを統一されたフレームワークで比較すること。
• 汎用的でデータ駆動型の視覚的局所化のための今後の研究に役立つ具体的な知見を提供すること。

提案手法

• クエリ画像と複数のデータベース画像間のエッセンシャル行列を推定することで、絶対カメラポーズを回復する新しいRANSACベースのフレームワークを提案。
• エッセンシャル行列の計算に古典的手法（SIFT）、学習された回帰（EssNet）、ハイブリッド（学習特徴量マッチング + SIFTに類似した5点法ソルバー）を用いる柔軟なパイプラインを設計。
• MegaDepth、7 Scenes、Cambridge Landmarks データセットで学習した、画像ペアからエッセンシャル行列を直接回帰するための新しいCNNベースのネットワーク（EssNet）を提案。
• SIFTに代わる学習特徴量マッチングモジュール（NCM）を用いたハイブリッドアプローチを採用。ポーズ推定には依然として5点法アルゴリズムを適用。
• 計算効率を考慮し、224×224で学習したが、ハイブリッド設定では高解像度推論を適用して特徴量マッチングを実施。
• ImageNetの事前学習や、深度および屋内／屋外シーンでのタスク固有の微調整を含む、複数のデータセットと学習戦略を用いて一般化性能を評価。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの学習された相対姿勢回帰手法は、深層ネットワークを用いているにもかかわらず、未学習のシーンに一般化できないのはなぜか？
• RQ2 これらのネットワークが学習する特徴量は、異なるシーンやドメイン間でどれほど一般化するのか？
• RQ3 学習手法と古典的手法の性能差は、回帰ヘッド、特徴抽出、またはマッチングプロセスのどの要因に起因するのか？
• RQ4 学習特徴量マッチングと古典的手法のポーズ推定を組み合わせたハイブリッドアプローチが、純粋な学習または純粋な古典的手法を上回る性能を発揮できるか？
• RQ5 学習パイプラインの中で、視覚的局所化における精度と一般化性能を達成するために最も重要な要因は何か？

主な発見

• 古典的手法のSIFTベース（SIFT+5pt）が、Cambridge Landmarksで中央値誤差0.47／平均誤差0.88を記録し、最先端の性能を達成。より複雑な学習手法を上回る。
• エンドツーエンドのエッセンシャル行列回帰（EssNet）はSIFTベースの手法より性能が劣り、Cambridge Landmarksで中央値誤差0.83／平均誤差1.36を示し、一般化性能が低いことが判明。
• ネットワークが学習する特徴量および特徴量マッチングは、データセット間で良好に一般化される：異なる事前学習タスクやデータセット間で中央値誤差はわずかに0.89～0.98の範囲で変動。
• NCMを用いたハイブリッドアプローチ（SIFT風5点法ソルバーと組み合わせ）は、純粋な回帰（Cambridgeで0.89／1.39）よりも優れた結果を示したが、依然としてSIFTベース手法（0.47／0.88）に劣る。
• 学習手法の主な失敗要因は、特徴抽出やマッチングではなく、回帰ヘッドに起因しており、異なる特徴学習戦略において一貫した性能差が観察された。
• 高品質な学習特徴量を用いても、古典的SIFTの結果に比べてポーズ推定が不正確であることが示され、現在の深層ネットワークが相対姿勢推定に適したロバストで局所的な表現を学習できていないことが判明。