[論文レビュー] Understanding the Limitations of CNN-based Absolute Camera Pose Regression

Torsten Sattler, Qunjie Zhou+2 more|arXiv (Cornell University)|Mar 18, 2019

Robotics and Sensor-Based Localization参考文献 80被引用数 21

ひとこと要約

この論文は、3D構造に基づくアプローチと比較して、CNNベースの絶対カメラポーズ回帰（APR）手法が性能を発揮できない理由を調査する。理論的モデルを提案し、APRが正確な3D幾何学的ポーズ推定よりも画像検索に類似していることを示し、実験的にも、発表済みのすべてのAPR手法が、単純な手作業による画像検索ベースラインを一貫して上回っていないことを示しており、現在のAPRの性能と一般化能力に深刻なギャップが存在することを暴露している。

ABSTRACT

Visual localization is the task of accurate camera pose estimation in a known scene. It is a key problem in computer vision and robotics, with applications including self-driving cars, Structure-from-Motion, SLAM, and Mixed Reality. Traditionally, the localization problem has been tackled using 3D geometry. Recently, end-to-end approaches based on convolutional neural networks have become popular. These methods learn to directly regress the camera pose from an input image. However, they do not achieve the same level of pose accuracy as 3D structure-based methods. To understand this behavior, we develop a theoretical model for camera pose regression. We use our model to predict failure cases for pose regression techniques and verify our predictions through experiments. We furthermore use our model to show that pose regression is more closely related to pose approximation via image retrieval than to accurate pose estimation via 3D structure. A key result is that current approaches do not consistently outperform a handcrafted image retrieval baseline. This clearly shows that additional research is needed before pose regression algorithms are ready to compete with structure-based methods.

研究の動機と目的

• CNNベースの絶対ポーズ回帰（APR）手法が3D構造に基づく局所化技術の精度に到達できない理由を理解すること。
• APR手法の内部的挙動と限界を説明する理論的モデルを構築すること。
• APRが画像検索と3D幾何的ポーズ推定のどちらに近いかを調査すること。
• 訓練データの分布外のデータに対してAPRの一般化能力を評価すること。
• 手作業による画像検索ベースラインと比較することで、APR手法の性能ベンチマークを確立すること。

提案手法

• 予測されたポーズを学習済みの基本移動量と回転量の重み付き和に分解するAPRの理論的モデルを構築する。
• このモデルを用いて、APRが訓練データ外に一般化する仕組みを分析し、頑健性に理論的保証がないことを示す。
• 同じ特徴記述子（例：DenseVLAD）と検索戦略を用いて、APRの性能を手作業による画像検索ベースラインと比較する。
• DeepLocデータセットにSfM再構築を適用して3Dモデルを作成し、構造に基づく手法と公平に比較可能にする。
• APRモデルと検索ベース手法を、元のDeepLocデータセットおよびSfM処理済みバージョンの両方で評価する。
• 中央値位置誤差と中央値方位誤差を主な指標として、APR、検索、構造ベース手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 CNNベースの絶対ポーズ回帰の理論的挙動は、画像検索と3D幾何的ポーズ推定のどちらに近いか？
• RQ2 訓練分布外のデータに対してAPR手法の一般化限界は何か？
• RQ3 単純な手作業による画像検索ベースラインが、最先端のCNNベースAPR手法を視覚的局所化で上回ることができるか？
• RQ4 APR手法は、構造に基づく手法と比較して、3Dシーン構造をどれほど効果的に活用できていないか？
• RQ5 一貫した3Dモデルと真値を用いた場合、APRの性能は構造ベース手法（例：Active Search）と比べてどの程度劣るか？

主な発見

• DenseVLAD特徴を用いた手作業による画像検索ベースラインを、発表済みの単一画像ポーズ回帰手法が一貫して上回っていない。
• 最高のAPR手法（VLocNet++ MTL）の中央値位置誤差は0.32mであったが、検索ベースラインは0.51mであり、この設定ではベースラインがAPRを上回っていることが示された。
• 3D幾何学を用いる構造ベース手法であるActive Searchは、中央値誤差が位置で0.01m、方位で0.04°であり、すべてのAPR手法を大きく上回った。
• DenseVLADおよびDenseVLAD+Inter.の性能は、元のDeepLocデータセットおよびSfM処理済みバージョンの両方で安定しており、一貫したベースライン性能を確認した。
• APR手法には、訓練データ外への一般化に理論的保証がない。なぜなら、予測が明示的な3D構造認識を持たない学習済みの基本ポーズ依存であるため。
• 理論的分析により、APRが正確な3D幾何学的ポーズ推定よりも画像検索によるポーズ近似に近いことが確認された。