[論文レビュー] Stereo DSO: Large-Scale Direct Sparse Visual Odometry with Stereo Cameras

Rui Wang, Martin Schwörer+1 more|arXiv (Cornell University)|Aug 25, 2017

Robotics and Sensor-Based Localization参考文献 25被引用数 45

ひとこと要約

ステレオ DSO は、スライディングウインドウ内でボンデル調整を用いてカメラのポーズ、内部・外部パラメータ、およびスパarsな深度値を同時に最適化することで、リアルタイムで大規模なビジュアルオドメトリを実現するシステムを提案する。静的ステレオ制約を時間的マルチビュー ステレオパイプラインに統合し、一様な勾配ベースのピクセルサンプリングを適用することで、スケールドリフトやオプティカルフローの課題に対処する点で、最先端の単眼およびステレオ手法を上回る高い精度と耐障害性を達成する。

ABSTRACT

We propose Stereo Direct Sparse Odometry (Stereo DSO) as a novel method for highly accurate real-time visual odometry estimation of large-scale environments from stereo cameras. It jointly optimizes for all the model parameters within the active window, including the intrinsic/extrinsic camera parameters of all keyframes and the depth values of all selected pixels. In particular, we propose a novel approach to integrate constraints from static stereo into the bundle adjustment pipeline of temporal multi-view stereo. Real-time optimization is realized by sampling pixels uniformly from image regions with sufficient intensity gradient. Fixed-baseline stereo resolves scale drift. It also reduces the sensitivities to large optical flow and to rolling shutter effect which are known shortcomings of direct image alignment methods. Quantitative evaluation demonstrates that the proposed Stereo DSO outperforms existing state-of-the-art visual odometry methods both in terms of tracking accuracy and robustness. Moreover, our method delivers a more precise metric 3D reconstruction than previous dense/semi-dense direct approaches while providing a higher reconstruction density than feature-based methods.

研究の動機と目的

• 複雑で動的な環境下でも高い精度と耐障害性を達成するリアルタイムで大規模なビジュアルオドメトリシステムの開発を目的とする。
• 固定基準点のステレオカメラを活用することで、直接的単眼手法におけるスケールドリフトと大規模なオプティカルフローへの感受性を是正することを目的とする。
• 特徴ベース法や密度の高い直接法と比較して、スパース深度とカメラパラメータの共同最適化により再構成密度とメトリック精度を向上させることを目的とする。
• ローリングシャッターエフェクトや極端な明るさの変化といった困難な条件下でも安定した性能を発揮できることを目的とする。
• 従来の半密度的直接法よりもより精密な3次元再構成を実現しつつ、特徴ベース手法よりも高い密度を維持できることを目的とする。

提案手法

• 選択されたピクセルのためのカメラポーズ、内部・外部パラメータ、およびスパース深度値を同時に最適化するスライディングウインドウ最適化フレームワークを採用する。
• 左カメラと右カメラ間の固定基準点から導かれる静的ステレオ制約をボンデル調整パイプラインに統合し、幾何学的整合性を強制する。
• リアルタイム最適化を実現するために、十分な強度勾配を持つ画像領域からの一様なピクセルサンプリングを適用するが、GPUを必要としない。
• スライディングウインドウフレームワーク内での大規模最適化問題を効率的に処理するため、シュール補完に基づくマージナライゼーション方式を採用する。
• 照明変化に耐えるために、光度誤差項にアフィン輝度補正を適用するが、極端な明るさ変動には依然として感受性を示す。
• 同期されたステレオ画像取得により、マルチビュー ステレオの一貫性を活用することで、ローリングシャッターエフェクトを暗黙的に低減する。

実験結果

リサーチクエスチョン

• RQ1 直接的スパースビジュアルオドメトリシステムは、大規模環境下で最先端の単眼およびステレオ手法を上回る高い精度と耐障害性を達成できるか？
• RQ2 ボンデル調整パイプラインに静的ステレオ制約を統合することで、単眼直接手法と比較してスケール推定がどのように向上し、ドリフトがどのように低減されるか？
• RQ3 一様な勾配ベースのピクセルサンプリングは、トラッキング精度を損なわず、リアルタイム性能を実現できるか？
• RQ4 ローリングシャッターエフェクトや極端な照明変化といった困難な条件下で、この手法はどのように性能を発揮するか？
• RQ5 提案手法は、特徴ベース法や密度の高い直接法と比較して、より密度が高く、より正確な3次元再構成を実現できるか？

主な発見

• KITTI データセットにおいて、ステレオ DSO はループクロージャーなしでも、最先端の単眼およびステレオビジュアルオドメトリ手法を上回る高いトラッキング精度と耐障害性を達成した。
• KITTI テストセットでは、ループクロージャーとグローバルボンデル調整を備えたステレオ ORB-SLAM2 に対しても、ステレオ DSO はより正確な結果を示し、スケール推定とトラジェクトリの一貫性において優れた性能を示した。
• 本手法は、特徴ベース手法よりも高い密度で、かつ従来の半密度的・密度の高い直接的手法よりも高い精度を持つメトリックな3次元再構成を実現した。
• カイツェンス・フランクフルトシーケンスにおける定性的な結果から、高ダイナミックレンジの照明条件や移動物体が存在する中でも、安定したトラッキングと正確な再構成が可能であることが示された。
• 静的ステレオ制約の統合により、スケールドリフトが効果的に低減され、大規模なオプティカルフローおよびローリングシャッターエフェクトへの感受性も低下した。
• 極端な明るさ変化（例：露出自動制御のシフト）の処理には限界があるが、大多数の実世界条件下では本手法は依然として耐障害性を示しており、失敗事例はアフィン輝度モデルが極端な変化に対応できないことが主な要因であると特定された。