[論文レビュー] Reassessing the Limitations of CNN Methods for Camera Pose Regression

Tony Ng, Adrian Lopez-Rodriguez+2 more|arXiv (Cornell University)|Aug 16, 2021

Robotics and Sensor-Based Localization被引用数 11

ひとこと要約

本論文は、確率誘導型の合成視点生成とトランスフォーマーに基づくポーズヘッドを用いて、データ分布バイアスを是正することで、最先端の3D構造ベースおよびリtrieval手法を上回る、新しいCNNベースのカメラポーズ回帰手法を提案する。本手法は、Cambridge Landmarksベンチマークの複雑なストリートシーンにおいて、画像リtrievalを上回る回帰ベースの手法として初の実現を果たし、偏りのない学習データと向上したアーキテクチャが、構造ベース手法との性能格差を埋める可能性を示している。

ABSTRACT

In this paper, we address the problem of camera pose estimation in outdoor and indoor scenarios. In comparison to the currently top-performing methods that rely on 2D to 3D matching, we propose a model that can directly regress the camera pose from images with significantly higher accuracy than existing methods of the same class. We first analyse why regression methods are still behind the state-of-the-art, and we bridge the performance gap with our new approach. Specifically, we propose a way to overcome the biased training data by a novel training technique, which generates poses guided by a probability distribution from the training set for synthesising new training views. Lastly, we evaluate our approach on two widely used benchmarks and show that it achieves significantly improved performance compared to prior regression-based methods, retrieval techniques as well as 3D pipelines with local feature matching.

研究の動機と目的

• CNNベースのポーズ回帰と3D構造ベース手法の性能格差を是正すること。この格差は、偏った学習データ分布に起因する。
• 多様で分布的に整合性のある視点を合成することで、訓練視点を超えた一般化性能を向上させること。
• 挑戦的な屋外シーンにおいて、直接回帰がリtrievalや3Dマッチング手法を上回ることを示すこと。
• 標準的なMLPと比較して、トランスフォーマーに基づくアーキテクチャが相対ポーズ回帰をどのように改善するかを示すこと。
• 融合された高密度およびスパース深度を用いた合成視点が、モデルのロバスト性と精度を向上させることを検証すること。

提案手法

• 確率駆動型の視点合成パイプラインが、学習ポーズの経験的分布からサンプリングすることで、データバイアスを低減する新しい学習ポーズを生成する。
• スパースメトリック深度（MVSから得られる）と高密度のスケールに依存しない深度予測の融合を用いて、合成画像の視覚的品質を向上させ、アーチファクトを低減する。
• 従来のMLPに代わり、画像ペア間の相対ポーズ関係をより良くモデル化できるトランスフォーマーに基づくポーズヘッドを採用する。
• 本手法は、実画像ペアと合成ペアの両方を用いて学習する。各実画像は、新たな合成視点とペアリングされる。
• 高密度深度のサンプリングを最適化し、特にスパース領域において、合成視点の現実性と一貫性を向上させる。
• 一般化性能とデータ効率を評価するために、分布内および分布外の合成視点を学習プロセスに組み込む。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのポーズ回帰が、一般化性能に限界があるとされるにもかかわらず、3D構造ベース手法と同等またはそれ以上の性能を達成できるか？
• RQ2 学習ポーズ分布に従って誘導された合成視点の生成が、学習データとテストデータの間のドメインシフトを低減できるか？
• RQ3 この文脈において、標準的なMLPと比較して、トランスフォーマーに基づくアーキテクチャが相対ポーズ回帰をどのように改善するか？
• RQ4 実データが限られている状況で、合成データを用いることで性能がどの程度向上するか？
• RQ5 回帰のみの手法が、大規模で複雑な屋外シーンにおいて、画像リtrievalを上回ることができるか？

主な発見

• 本手法は、トランスフォーマーと合成視点を用いて、Cambridge Landmarksベンチマークのストリートシーンで中央誤差0.24/0.38を達成し、MLPベースラインおよび画像リtrievalを上回った。
• 7 Scenesデータセットでは、実画像の10％とその合成コピーでの学習が、100％の実画像を使用した場合よりも優れた性能を示した。これは、データの効率性と分布整合性が、データ量よりも重要であることを証明している。
• 本手法は、Cambridge Landmarksベンチマークで最大かつ最も複雑なストリートシーンにおいて、画像リtrieval性能を上回る回帰ベースのアプローチとして初の実現を果たした。
• トランスフォーマーに基づくポーズヘッドは、MLPと比較して中央誤差を最大20％まで低減し、相対ポーズ関係のモデル化における優位性を示した。
• 融合された高密度およびスパース深度を用いて生成された合成視点は、ハローと呼ばれる穴や飛行ピクセルのようなアーチファクトを顕著に低減し、モデルの一般化性能を向上させた。
• 不完全な合成画像であっても、モデルは実際のテスト画像にうまく一般化でき、局所的な画像ノイズや欠損領域に対してロバストであることが示された。