[論文レビュー] CNN-SVO: Improving the Mapping in Semi-Direct Visual Odometry Using Single-Image Depth Prediction

Shing Yan Loo, Ali Amiri+3 more|arXiv (Cornell University)|Oct 1, 2018

Robotics and Sensor-Based Localization参考文献 14被引用数 8

ひとこと要約

本論文では、深層ニューラルネットワークを用いた単一画像からの深度推定を活用することで、マップポイントの初期化を改善するCNN-SVOを提案する。予測された深度を平均とし、小さな分散を用いて低深度不確実性でマップポイントを初期化することにより、誤った特徴マッチングを低減し、真の深度への収束を加速する。その結果、特に照明状態が難しい状況下でも、より頑健で正確なカメラトラッキングが実現される。

ABSTRACT

Reliable feature correspondence between frames is a critical step in visual odometry (VO) and visual simultaneous localization and mapping (V-SLAM) algorithms. In comparison with existing VO and V-SLAM algorithms, semi-direct visual odometry (SVO) has two main advantages that lead to state-of-the-art frame rate camera motion estimation: direct pixel correspondence and efficient implementation of probabilistic mapping method. This paper improves the SVO mapping by initializing the mean and the variance of the depth at a feature location according to the depth prediction from a single-image depth prediction network. By significantly reducing the depth uncertainty of the initialized map point (i.e., small variance centred about the depth prediction), the benefits are twofold: reliable feature correspondence between views and fast convergence to the true depth in order to create new map points. We evaluate our method with two outdoor datasets: KITTI dataset and Oxford Robotcar dataset. The experimental results indicate that the improved SVO mapping results in increased robustness and camera tracking accuracy.

研究の動機と目的

• SVOにおけるマップポイントの初期化時に高い深度不確実性が生じるという限界を解消し、信頼性の低い特徴対応を回避すること。
• 変動する照明条件下でも、半直接的視覚オドメトリ（SVO）におけるカメラ運動推定の頑健性と正確性を向上させること。
• 深層学習に基づく単一画像深度推定を活用し、マップポイント初期化に正確な深度事前分布を提供すること。
• 深度不確実性を制限することで、特徴マッチングの探索範囲を狭め、マッチングの信頼性を向上させること。
• KITTIやOxford Robotcarといった困難な屋外データセットでも、高い正確性を維持しながらリアルタイム動作を実現すること。

提案手法

• ステレオデータセットで事前学習された単一画像深度推定ネットワーク（例：SUN-RGBDなど）を統合し、キーフレームの深度マップを推定する。
• 予測された深度をマップポイント初期化の平均とし、小さな分散を用いて低深度不確実性を表現する。
• マッピングスレッドで確率的深度フィルタを適用し、複数視点からの観測に基づいて深度推定値を更新する。
• 特徴マッチングの探索を、予測深度を中心とする深度区間内に制限することで、誤マッチングを低減する。
• 新しいキーフレームが追加された際に、局所的バンドル調整（BA）を適用してカメラポーズとマップポイントを精緻化する。
• Oxford Robotcarデータセットでは、特に真値ポーズが利用可能な場合に、深度予測値に対してスケール補正を適用する。

実験結果

リサーチクエスチョン

• RQ1 単一画像深度推定により、SVOにおけるマップポイント初期化時の深度不確実性を低減でき、より信頼性の高い特徴対応が可能になるか？
• RQ2 深層ニューラルネットワークから得られる深度事前分布の使用が、マップポイント深度推定の収束速度と正確性に与える影響はいかほどか？
• RQ3 提案手法が、過露出や過不足露出といった厳しい照明条件下でも、カメラトラッキングの頑健性をどの程度向上させるか？
• RQ4 実世界の屋外データセットにおける視覚オドメトリ全体の性能に、深度予測の不確実性が及ぼす影響は何か？
• RQ5 深度事前分布の統合により、高フレームレートのシーケンスにおいてもリアルタイム動作を維持しながら高い正確性を達成できるか？

主な発見

• CNN-SVOは、標準SVOと比較してKITTIおよびOxford Robotcarデータセットの両方で、より頑健で正確なカメラトラッキングを達成した。
• マップポイント初期化時の深度不確実性が低減され、真の深度値への収束が迅速化した。
• KITTIデータセットでは、オドメトリ出力のスケールが絶対スケールに近く、シーケンス全体で0.921から1.1876の範囲に収まった。
• Oxford Robotcarデータセットでは、スケール補正を適用した後、スケールが0.8953から0.9737の間であり、真値と良好に一致していることが示された。
• 局所的BAと深度推定の計算コストがそれぞれ約29msおよび37msと高めであったが、Oxford Robotcarでは16FPS、KITTIでは10FPSで動作し、リアルタイム実現が確認された。
• 深度予測ネットワークの照度不変性により、HDR条件下でもCNN-SVOは性能を維持でき、元のSVOの主な限界を克服した。