[論文レビュー] ROVO: Robust Omnidirectional Visual Odometry for Wide-baseline Wide-FOV Camera Systems

Hochang Seok, Jongwoo Lim|arXiv (Cornell University)|Feb 28, 2019

Robotics and Sensor-Based Localization参考文献 22被引用数 4

ひとこと要約

本稿では、広基準距離・広視野角のファイッシュアイカメラレシオ向けに、耐障害性の高い全方向ビジュアルオドメトリ（ROVO）を提案する。歪みを低減し特徴量マッチングを向上させるハイブリッドプロジェクションモデル、ロバストなポーズ推定のためのマルチビューP3P RANSACアルゴリズム、およびボンデル調整に統合されたオンライン外部キャリブレーションを導入し、実データおよび合成データを用いた動的環境下でも高い精度と安定性を達成した。

ABSTRACT

In this paper we propose a robust visual odometry system for a wide-baseline camera rig with wide field-of-view (FOV) fisheye lenses, which provides full omnidirectional stereo observations of the environment. For more robust and accurate ego-motion estimation we adds three components to the standard VO pipeline, 1) the hybrid projection model for improved feature matching, 2) multi-view P3P RANSAC algorithm for pose estimation, and 3) online update of rig extrinsic parameters. The hybrid projection model combines the perspective and cylindrical projection to maximize the overlap between views and minimize the image distortion that degrades feature matching performance. The multi-view P3P RANSAC algorithm extends the conventional P3P RANSAC to multi-view images so that all feature matches in all views are considered in the inlier counting for robust pose estimation. Finally the online extrinsic calibration is seamlessly integrated in the backend optimization framework so that the changes in camera poses due to shocks or vibrations can be corrected automatically. The proposed system is extensively evaluated with synthetic datasets with ground-truth and real sequences of highly dynamic environment, and its superior performance is demonstrated.

研究の動機と目的

• 極端なレンズ歪みと大きな視点差が生じる広基準距離・広視野角のファイッシュアイカメラシステムにおける特徴量マッチングとポーズ推定の課題に対処すること。
• 移動物体が視界を支配するような極めて動的な環境におけるロバスト性を向上させること。
• 運転中の衝撃や振動によるリグ変形や初期外部キャリブレーションの不正確さが原因で生じるドリフトや誤差を軽減すること。
• 最小限の基準距離損失で複数の重複するファイッシュアイビューを用いて、正確なメトリック自己移動推定を可能とすること。
• 急激な照度変化、狭い通路、高密度な車両走行といった実世界の状況下でも高い性能を維持できるシステムの開発

提案手法

• 歪みを最小限に抑え、ファイッシュアイビュー間の特徴量オーバーラップを最大化するため、透視投影とシリンダーダル投影を組み合わせたハイブリッドプロジェクションモデルを提案する。
• ハイブリッドプロジェクションを用いて、複数のビューにわたる一貫した特徴量トラッキングと記述子計算を可能にする。
• 全ビューを同時に評価するマルチビューP3P RANSACアルゴリズムを導入し、移動物体が多数存在する動的シーンにおけるポーズ推定のロバスト性を向上させる。
• 局所的なボンデル調整フレームワークにオンライン外部キャリブレーションを統合し、ショックや振動によるリグ-カメラポーズ誤差を動的に是正する。
• 初期外部パrameter推定のため、大規模なチェッカーボードを用いた標準的なカメラレシオキャリブレーションを実施する。
• 本システムを、真値トラジェクトリが与えられた合成データセットおよび車両搭載レシオから収集した実世界のシーケンスに適用する。

実験結果

リサーチクエスチョン

• RQ1 極端なレンズ歪みを伴う広基準距離・広視野角のファイッシュアイカメラシステムにおいて、特徴量マッチングをどのように改善できるか？
• RQ2 P3P RANSACのマルチビュー拡張は、移動物体が多数存在する動的シーンにおけるポーズ推定のロバスト性を向上させ得るか？
• RQ3 オンライン外部キャリブレーションは、実世界の展開においてドリフトをどれほど低減し、精度を向上させるか？
• RQ4 ハイブリッドプロジェクションモデルは、標準的なファイッシュアイまたはエQUIRECTANGULARプロジェクションと比較して、特徴量マッチングの質においてどの程度優れているか？
• RQ5 急激な照度変化や狭い都市部の通りを走行するような極端な環境条件下でも、提案手法は高い精度を維持できるか？

主な発見

• ハイブリッドプロジェクションモデルにより、平均記述子距離は124.85から35.27に低下し、インライア比率は21.53％から73.16％に向上し、特徴量マッチングの信頼性が顕著に向上した。
• オンライン外部キャリブレーションを導入したことで、初期パrameterがノイズを含む状態（σ = 5°）からでも、100フレーム以内に正しく収束し、トラジェクトリ誤差を真値に近づけた。
• パーキングロットシーケンスでは、ループクロージャーなしでも正確なトラジェクトリ推定が達成され、優れた局所的整合性を示した。
• ワングシムニおよびセジョンス実世界シーケンスでは、移動する車両に起因する外れ値を効果的に除外し、狭く動的な通りでも正確なポーズ推定を維持できた。
• オンラインキャリブレーションにより再投影誤差とインライア比率が顕著に改善され、真値の外部パrameterに近い性能に到達した。
• 急激な照度変化、高密度な交通、高ダイナミックレンジのシーンといった困難な条件下でも、本システムは合成データおよび実データ両方でベースライン手法を上回るロバスト性を示した。