[論文レビュー] On-the-Fly Adaptation of Regression Forests for Online Camera Relocalisation

Tommaso Cavallari, Stuart Golodetz+4 more|arXiv (Cornell University)|Feb 9, 2017

Robotics and Sensor-Based Localization参考文献 38被引用数 13

ひとこと要約

本論文では、オフライン学習を必要とせず、新しいシーンにおけるリアルタイムなカメラ再局所化を可能にする、走りの適応手法を提案する。森の木構造を保持し、新規シーンのデータを用いてオンラインでシーン固有のリーフノードを再充填することで、150ms未塔でオフライン森と同等の再局所化性能を達成し、未知のポーズからの堅牢な再局所化を実現する。

ABSTRACT

Camera relocalisation is an important problem in computer vision, with applications in simultaneous localisation and mapping, virtual/augmented reality and navigation. Common techniques either match the current image against keyframes with known poses coming from a tracker, or establish 2D-to-3D correspondences between keypoints in the current image and points in the scene in order to estimate the camera pose. Recently, regression forests have become a popular alternative to establish such correspondences. They achieve accurate results, but must be trained offline on the target scene, preventing relocalisation in new environments. In this paper, we show how to circumvent this limitation by adapting a pre-trained forest to a new scene on the fly. Our adapted forests achieve relocalisation performance that is on par with that of offline forests, and our approach runs in under 150ms, making it desirable for real-time systems that require online relocalisation.

研究の動機と目的

• 回帰森ベースのカメラ再局所化には、各新規シーンでオフライン学習を要するという制限があるため、オンラインまたはリアルタイムシステムでは実用的でない。
• 新規シーンからのわずかなフレーム（画像と3D点のペア）を用いて、事前に学習済みの森をオンラインで適応させることで、未確認の環境でも正確なカメラ再局所化を実現する。
• 完全に訓練されたオフライン森と同等の再局所化性能を維持しつつ、SLAM や AR/VR アプリケーションに適したリアルタイム効率を確保する。
• キーフレームベースの手法（例：ランダムフェアン）の一般化性能の低さに起因する課題を克服し、学習軌道にない未知のポーズからの再局所化を可能にする。

提案手法

• 広範なシーンの2D-3D対応点を予測できる汎用的な回帰森をオフラインで学習し、木構造と分割パラメータを保持する。
• オンライン適応のため、森のリーフノードからシーン固有の情報を削除するが、分岐構造はそのままで保持する。
• 新規シーンの少量のトレーニング例（画像と3D点のペア）を用いて、オンラインでリーフノードを再充填し、シーン固有の対応点を予測可能にする。
• 予測された2D-3D対応点をKabsch法とRANSACに供給し、ロバストなカメラポーズ推定を実現する。
• 初期推定後に、ICP（反復最密対応点）を用いた反復的精錬により、ポーズ精度をさらに向上させる。
• オンライン適応中に効率的な木走査と段階的リーフノード更新を活用することで、リアルタイム性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 完全な再トレーニングを伴わずに、事前に学習済みの回帰森を新規シーンにオンラインで適応可能か？リアルタイム再局所化が可能か？
• RQ2 走りの適応による森の性能は、完全にトレーニングされたオフライン森と比較して、再局所化精度でどの程度の差があるか？
• RQ3 学習中に見られなかった未知のポーズ、特に学習軌道から大きく離れたポーズからの再局所化が可能か？
• RQ4 オンライン適応と再局所化の計算コストはどの程度か？リアルタイムシステムに実用的か？

主な発見

• 走りの適応による回帰森は、7-Scenesベンチマークにおいて完全にトレーニングされたオフライン森と同等の再局所化性能を達成した。
• 本手法は、学習軌道とは大きく異なる未知のポーズからの再局所化に成功し、ランダムフェアンのようなキーフレームベース手法と比較して、性能の低下がはるかに遅い。
• 1回の再局所化あたり150ms未塔で実行され、SLAM や AR/VR などのリアルタイムシステムに実用的である。
• ICPの精錬を施すことで、特に挑戦的なテストポーズにおいてもポーズ精度が向上し、ポーズの新規性に対するロバストネスを示した。
• オンライン学習は1フレームあたり9.8ms、再局所化は141msであり、ランダムフェアンよりは遅いが、リアルタイムアプリケーションにおいては許容可能な水準である。
• 一般化性能が限られるランダムフェアンとは異なり、未知のポーズからの再局所化において本手法が優れている。特に、後者では限界により失敗する。