[論文レビュー] Probabilistic RGB-D Odometry based on Points, Lines and Planes Under Depth Uncertainty

Pedro F. Proença, Yang Gao|View|Jun 13, 2017

Robotics and Sensor-Based Localization参考文献 32被引用数 7

ひとこと要約

本論文は、Mixture of Gaussians（MoG）に基づく深度融合フレームワークを用いて深度不確実性をモデル化する、点、線、平面を統合する確率的RGB-Dビジョウオドメトリーシステムを提案する。この不確実性を確率的3次元プリミティブ適合に伝搬させることで、低テクスチャ、動的、深度遮蔽環境においてもロバストなポーズ推定を実現し、公的および独自のデータセットにおいて、点のみ、または点と線の組み合わせに比べて優れた性能を発揮する。

ABSTRACT

This work proposes a robust visual odometry method for structured environments that combines point features with line and plane segments, extracted through an RGB-D camera. Noisy depth maps are processed by a probabilistic depth fusion framework based on Mixtures of Gaussians to denoise and derive the depth uncertainty, which is then propagated throughout the visual odometry pipeline. Probabilistic 3D plane and line fitting solutions are used to model the uncertainties of the feature parameters and pose is estimated by combining the three types of primitives based on their uncertainties. Performance evaluation on RGB-D sequences collected in this work and two public RGB-D datasets: TUM and ICL-NUIM show the benefit of using the proposed depth fusion framework and combining the three feature-types, particularly in scenes with low-textured surfaces, dynamic objects and missing depth measurements.

研究の動機と目的

• 低テクスチャ表面、動的物体、深度測定の欠落が生じる構造的環境におけるビジョウオドメトリーシステムのロバスト性を向上させること。
• ノイズ、距離/視野角制限、深度不連続性といった深度センサーの制限要因を、深度不確実性のモデリングによって克服すること。
• 不確実性を考慮した適合と統合を用いて、点、線、平面特徴を組み合わせることでポーズ推定の精度を向上させること。
• 生の深度マップのノイズ除去と、時間的に入力が欠落する測定値の回復を、確率的不確実性伝搬を用いた深度融合フレームワークとして開発すること。
• 独自および公的RGB-Dデータセット上でシステムを評価し、点のみ、または点と線のみのベースラインに比べて優れた性能を示すこと。

提案手法

• 空間的および時間的深度測定分布をモデル化することで、Mixture of Gaussians（MoG）に基づく深度融合フレームワークが、生の深度マップのノイズ除去と深度不確実性の推定を実現する。
• 特徴パラメータの不確実性をモデル化するため、重み付き線形最小二乗法を用いた確率的3次元線および平面適合を採用し、重みは深度不確実性から導出される。
• ポーズ推定は、各特徴の3次元パラメータの不確実性を考慮した重み付き最小二乗法を用いて、点、線、平面の3種類のプリミティブを統合して行う。
• 深度融合フレームワークは時間的スライディングウインドウとして動作し、過去の測定値を再利用することで、深度カメラの狭い視野角を超えた深度推定を維持する。
• 広角RGBレンズにより視覚的視野角が拡大され、深度融合フレームワークにより、もともと深度センサーの範囲外であった領域に対しても深度データの伝搬が可能になる。
• 2次元特徴検出（SURF）、3次元特徴マッチング、RANSACおよび反復最適化を用いたポーズ精練を含むビジョウオドメトリーパイプラインと統合される。

実験結果

リサーチクエスチョン

• RQ1 点、線、平面を不確実性モデリングとともに統合することで、低テクスチャおよび動的環境におけるビジョウオドメトリーパフォーマンスがどのように向上するか？
• RQ2 Mixture of Gaussians（MoG）ベースの深度融合フレームワークは、RGB-Dシーケンスにおいてノイズ低減と欠落した深度測定値の回復をどの程度実現できるか？
• RQ3 センサーのノイズや深度不連続性が生じる状況下でも、深度不確実性をモデリングすることで、3次元線および平面適合のロバスト性がどのように向上するか？
• RQ4 時間的深度統合が、深度データが欠落またはノイズを含むシーケンスにおけるポーズ推定精度とトラッキング安定性に与える影響は何か？
• RQ5 本手法は、遮蔽や運動ブラーが顕著な現実世界のシナリオにおいて、点のみ、または点と線のみのオドメトリーシステムを上回る性能を示せるか？

主な発見

• 点、線、平面を統合した完全なシステムは、全テストシーケンスにおいて相対ポーズ誤差（RPE）が最小となり、点のみ、または点と線のみのバージョンを上回る性能を示した。
• ICL-NUIMデータセットでは、完全なシステムは点のみのオドメトリーシステムと比較してRPEが30％低減され、低テクスチャ領域でもトラッキングの安定性が向上した。
• 深度融合フレームワークは深度マップのノイズを低減し、深度カメラの視野角を超えて深度測定値の回復を可能にした。時間的統合により、最大10フレーム分の使用可能な深度データが延長された。
• 駐車場のシーケンスでは、点のみのオドメトリーシステムが失敗したのに対し、完全なシステムはトラッキングを維持した。これは、低テクスチャおよび動的シーンに対するロバスト性の向上を示している。
• 全データセットにおいて一貫したパフォーマンス向上が確認され、特に深度の欠落が顕著でテクスチャレスな表面を有するシーケンスで最も顕著な改善が得られた。
• 1コアCPU上での平均処理時間は1フレームあたり35msであり、深度統合と平面抽出が最も計算コストの高いコンponentsであった。