[論文レビュー] Real-time Image-based 6-DOF Localization in Large-Scale Environments

Hyon Lim, Sudipta N. Sinha+2 more|arXiv (Cornell University)|Mar 20, 2012

Robotics and Sensor-Based LocalizationEngineering被引用数 18

ひとこと要約

本論文では、SfM再構築点群を用いた、大規模環境向けのリアルタイムでモノクローラル画像ベースの6自由度（6-DOF）局所化手法を提示する。フレームウィンドウ内でスパースでオフラインインデックス化されたDAISY記述子マッチングと高速なバイナリ記述子トラッカーをインタリーブすることで、ラップトップ上で30 Hz以上、モバイルプラットフォーム上で12 Hz以上の安定した低遅延局所化を実現し、オンラインスケール不変特徴抽出の必要性を排除した。

ABSTRACT

We present a real-time approach for image-based localization within large scenes that have been reconstructed offline using structure from motion (Sfm). From monocular video, our method continuously computes a precise 6-DOF camera pose, by efficiently tracking natural features and matching them to 3D points in the Sfm point cloud. Our main contribution lies in efficiently interleaving a fast keypoint tracker that uses inexpensive binary feature descriptors with a new approach for direct 2D-to-3D matching. The 2D-to-3D matching avoids the need for online extraction of scale-invariant features. Instead, offline we construct an indexed database containing multiple DAISY descriptors per 3D point extracted at multiple scales. The key to the efficiency of our method lies in invoking DAISY descriptor extraction and matching sparingly during localization, and in distributing this computation over a window of successive frames. This enables the algorithm to run in real-time, without fluctuations in the latency over long durations. We evaluate the method in large indoor and outdoor scenes. Our algorithm runs at over 30 Hz on a laptop and at 12 Hz on a low-power, mobile computer suitable for onboard computation on a quadrotor micro aerial vehicle.

研究の動機と目的

• モノクローラル動画からの大規模な屋内および屋外環境におけるリアルタイムで高精度な6-DOFカメラポーズ推定を可能にすること。
• 局所化中に発生するオンラインスケール不変特徴抽出の計算ボトルネックを克服すること。
• 長時間にわたり性能の変動が生じない一貫した低遅延を維持すること。
• マルチローターUAVなどの低消費電力モバイルプラットフォームへのデプロイを可能にすること、特にオントロールナビゲーション用途を想定。

提案手法

• 本手法は、リアルタイムな2D特徴追跡のための高速なキーポイントトラッカーと、安価なバイナリ特徴記述子を用いる。
• 3D点ごとに複数のスケールで抽出されたDAISY記述子のオフラインインデックス化されたデータベースを照会することで、2D-3Dマッチングを実行する。
• DAISY記述子の抽出とマッチングは、連続フレームのスライディングウィンドウにわたって希に発生させ、精度と効率のバランスを取る。
• 記述子の計算を事前に実行しインデックス化することで、オンライン特徴抽出を回避し、実行時の計算負荷を低減する。
• 記述子計算を時間的に分散させることで、アルゴリズムはリアルタイム性能を維持する。
• SfM点群からの2D特徴とそれに対応する3D点を用いて、ポーズ推定を継続的に精緻化する。

実験結果

リサーチクエスチョン

• RQ1 モノクローラル動画とオフラインSfM再構築データのみを用いて、大規模環境でリアルタイム6-DOF局所化を達成できるか？
• RQ2 オンラインスケール不変特徴抽出を一切行わない状態でも、2D-3Dマッチングをリアルタイムで実行するにはどうすればよいか？
• RQ3 フレームウィンドウにわたって記述子計算を分散させた場合、精度と計算負荷のトレードオフはどのように変化するか？
• RQ4 動的環境下でも長時間にわたり一貫した遅延を維持できるか？
• RQ5 本手法は、マイクロエアリアルビークル（MAV）のような低消費電力モバイルプラットフォームへのデプロイに適しているか？

主な発見

• 標準ラップトップ上では30 Hz以上の局所化性能を達成し、リアルタイム動作を実現した。
• 低消費電力モバイルコンピュータ上でも12 Hzで動作し、マルチローターUAVのオンボード計算に実用的であることを示した。
• 長時間にわたり性能の変動がなく、安定した遅延を維持した。
• 複数スケールでのDAISY記述子を事前に計算・インデックス化することで、高コストなオンライン特徴抽出を回避した。
• モノクローラル動画とSfMデータのみを用いて、大規模な屋内および屋外シーンにおいても高精度な6-DOF局所化を実現した。
• フレームウィンドウを用いた記述子計算の分散処理により、高い効率性を確保しながらもトラッキングのロバスト性を維持した。