[論文レビュー] Backtracking Regression Forests for Accurate Camera Relocalization

Lili Meng, Jianhui Chen+4 more|arXiv (Cornell University)|Oct 22, 2017

Robotics and Sensor-Based Localization参考文献 25被引用数 14

ひとこと要約

本稿では、よりバランスの取れた木の分割を促進するサンプルバランス最適化と、グリーディーな分割から生じる誤った2D-3D対応予測を是正する新しいバックトラッキング方式を導入することで、カメラ再局所化の精度を向上させるBacktracking Regression Forests (BTBRF) を提案する。本手法により、推論時に深度画像を必要とせず、屋内および屋外シーンにおいて高精度なRGBオンリーのカメラ再局所化が可能となり、公的ベンチマークで最先端の性能を達成した。

ABSTRACT

Camera relocalization plays a vital role in many robotics and computer vision tasks, such as global localization, recovery from tracking failure, and loop closure detection. Recent random forests based methods directly predict 3D world locations for 2D image locations to guide the camera pose optimization. During training, each tree greedily splits the samples to minimize the spatial variance. However, these greedy splits often produce uneven sub-trees in training or incorrect 2D-3D correspondences in testing. To address these problems, we propose a sample-balanced objective to encourage equal numbers of samples in the left and right sub-trees, and a novel backtracking scheme to remedy the incorrect 2D-3D correspondence predictions. Furthermore, we extend the regression forests based methods to use local features in both training and testing stages for outdoor RGB-only applications. Experimental results on publicly available indoor and outdoor datasets demonstrate the efficacy of our approach, which shows superior or on-par accuracy with several state-of-the-art methods.

研究の動機と目的

• カメラ再局所化のための回帰木のグリーディーな分割に起因する不正確な2D-3D対応予測を是正すること。
• 木の部分木におけるサンプルのバランスを強制することで、トレーニング時間を短縮し、予測精度を向上させること。
• 屋外環境でも深度データに依存せずに、RGB画像のみを用いた耐障害性の高いカメラ再局所化を実現すること。
• 部分的な最適でない分割から生じる誤った予測を是正するバックトラッキング機構を開発すること。
• 回帰木ベースの手法を拡張し、屋内および屋外のデータセットにおいて、RGB入力のみで最先端の精度を達成すること。

提案手法

• トレーニング中の木の分割段階で左・右の子ノードに均等なサンプル数が配分されるよう促進するサンプルバランス最適化を導入し、グリーディーな空間分散最小化による不均衡を低減する。
• 推論段階で複数のリーフノードを探索するバックトラッキング方式を提案し、部分的に最適でない分割から生じる誤差を是正する。
• トレーニングおよびテストの両段階でSIFT局所特徴を回帰木に統合し、深度監視なしにRGBオンリーのカメラ再局所化を実現する。
• マルチステージ推論パイプラインを採用：特徴抽出 → 回帰木による予測 → 候補リーフノードにおけるバックトラッキング → RANSACベースのポーズ最適化。
• 計算コストを制限しながら精度を向上させるために、最大バックトラックリーフ数（N_max = 16）を採用する。
• T=5本のランダムフォレストをトレーニングし、1本の木あたりインdoorでは500枚、outdoorでは300枚の画像を用い、1枚あたり5,000ピクセルをサンプリングしてトレーニングを行う。

実験結果

リサーチクエスチョン

• RQ1 サンプルバランス最適化は、カメラ再局所化における回帰木の精度と効率を向上させることができるか？
• RQ2 複数のリーフノードへのバックトラッキングは、グリーディーな分割によって生じる誤った2D-3D対応予測を是正できるか？
• RQ3 回帰木を用いて屋外シーンでもRGB画像のみで高精度なカメラ再局所化が達成可能か？
• RQ4 バックトラック対象のリーフノード数が最終的な再局所化精度に与える影響は何か？
• RQ5 回帰木に局所特徴を統合することで、深度監視なしにRGBオンリーのデータセットで頑健な性能が得られるか？

主な発見

• 提案されたサンプルバランス最適化により、分割段階での木の不均衡を低減することで、トレーニング時間を短縮し、予測精度が向上した。
• 最大16個のリーフノードへのバックトラッキングにより、中央値の並進誤差および回転誤差が顕著に低減され、特に最初の5つのノードで最も大きな向上が観察された。
• Cambridge Landmarkデータセットでは、BTBRFは中央値の並進誤差1.25 cm、中央値の回転誤差0.42°を達成し、多数の最先端手法を上回った。
• TUM RGB-Dデータセットでは、BTBRFは中央値の並進誤差1.85 cm、中央値の回転誤差0.65°を達成し、既存の手法と同等またはそれを上回る性能を示した。
• 本手法は、RGB画像のみを用いて屋内および屋外の両方のデータセットで高精度を達成し、回帰木を用いた深度フリーなカメラ再局所化の可能性を示した。
• 定性的な結果から、屋内および屋外の両シーンにおいて、非常に高精度なカメラ軌道推定とポーズ整合性が得られ、真値からのずれが最小限に抑えられていた。