[論文レビュー] Direct Sparse Odometry

Jakob Engel, Vladlen Koltun+1 more|arXiv (Cornell University)|Jul 9, 2016

Robotics and Sensor-Based Localization参考文献 22被引用数 65

ひとこと要約

本稿では、特徴点や幾何的事前知識に依存せずに、明るさの変化が一定であるという仮定に基づかない、スパースで勾配豊富な画像点における光度誤差を直接最適化するリアルタイム単眼ビジュアルオドメトリーシステム「Direct Sparse Odometry（DSO）」を提案する。完全な光度キャリブレーションと逆深度およびカメラの運動の共同最適化を統合することで、特にグローバルシャッター搭載でキャリブレーションが整ったカメラにおいて、最先端の間接的・直接的手法を凌駂数の高い精度と耐障害性を達成する。

ABSTRACT

We propose a novel direct sparse visual odometry formulation. It combines a fully direct probabilistic model (minimizing a photometric error) with consistent, joint optimization of all model parameters, including geometry -- represented as inverse depth in a reference frame -- and camera motion. This is achieved in real time by omitting the smoothness prior used in other direct methods and instead sampling pixels evenly throughout the images. Since our method does not depend on keypoint detectors or descriptors, it can naturally sample pixels from across all image regions that have intensity gradient, including edges or smooth intensity variations on mostly white walls. The proposed model integrates a full photometric calibration, accounting for exposure time, lens vignetting, and non-linear response functions. We thoroughly evaluate our method on three different datasets comprising several hours of video. The experiments show that the presented approach significantly outperforms state-of-the-art direct and indirect methods in a variety of real-world settings, both in terms of tracking accuracy and robustness.

研究の動機と目的

• 特徴点検出器や幾何的事前知識に依存せずに、リアルタイム性能を維持する直接的スパースビジュアルオドメトリーシステムの開発。
• 完全に直接的な光度誤差モデルを用いてカメラの運動と3次元幾何を同時に最適化することで、トラッキングの精度と耐障害性を向上。
• 露出時間、ヴィンゼティング、非線形応答関数を含む完全な光度キャリブレーションをオドメトリーパイプラインに統合し、測定の一貫性を向上。
• 現代的でキャリブレーションが整ったカメラにおいて、直接的スパース手法が間接的手法を上回ることを示す。特にテクスチャが乏しい、または厳しい照明条件下で顕著。
• 幾何的滑らかさの事前知識を排除することで、エッジや滑らかな領域を含むすべての画像勾配を安定性を損なわずに効果的に活用できる。

提案手法

• 特徴量マッチングに依存せず、連続するフレーム間の画像強度の光度誤差を最小化する完全に直接的な確率的モデルを用いる。
• カメラの姿勢、スパース3次元点の逆深度、光度キャリブレーションパラメータを非線形最適化により同時に最適化。
• コーナー検出器に依存せず、強度勾配（例：エッジ、テクスチャ豊富な領域）を優先して画像全体に均等にピクセルをサンプリング。
• 露出時間、レンズヴィンゼティング、非線形応答関数を含む完全な光度キャリブレーションを統合し、測定の一貫性を向上。
• 他の直接的手法で用いられる幾何的滑らかさの事前知識を回避し、最適化の安定性を確保するために、小さな局所的近傍領域での光度誤差を評価。
• 古く、関連性の低いフレームや点を破棄することで、リアルタイム性能を維持するための段階的マージナル化と状態削除を用いる。

実験結果

リサーチクエスチョン

• RQ1 幾何的事前知識を一切使わず、特徴点検出器に依存しない直接的スパースビジュアルオドメトリーシステムが、最先端の間接的手法を上回る精度と耐障害性を達成できるか。
• RQ2 完全な光度キャリブレーションは、標準的な明るさ一定仮定と比較して、直接オドメトリに顕著な性能向上をもたらすか。
• RQ3 幾何的滑らかさの事前知識を排除することで、コーナー以外の勾配豊富な画像領域（エッジ、滑らかな領域など）をすべて活用し、特徴点検出器に依存しないリアルタイム性能を達成できるか。
• RQ4 幾何的滑らかさの事前知識を省略することで、直接的スパースオドメトリにおける最適化の安定性と収束性にどのような影響を与えるか。
• RQ5 直接的手法の性能が、グローバルシャッター搭載や正確なレンズキャリブレーションといったカメラハードウェアの品質にどれほど依存するか。

主な発見

• DSOは、複数のデータセットにおいて、最先端の間接的手法（例：ORB-SLAM、PTAM）および直接的手法（例：LSD-SLAM）を顕著に上回るトラッキング精度と耐障害性を達成。
• 幾何的事前知識を排除し、効率的なピクセルサンプリングと段階的マージナル化を採用することで、標準的なハードウェアでもリアルタイム性能を達成。
• コーナーだけでなく勾配豊富なピクセルをすべて活用することで、点の数がスパースであるにもかかわらず、トラッキング精度に顕著な向上が見られた。
• 光度キャリブレーションにより性能が顕著に向上し、特に厳しい照明条件下でその有効性が示された。これにより、標準的な明るさ一定仮定では不十分であることが明らかになった。
• 直接的手法は光度ノイズに対してより耐障害性が高く、キャリブレーションが整ったカメラでは高い精度を達成するが、間接的手法はローリングシャッターの歪みや不良なキャリブレーションに対してより耐障害性がある。
• 活性な点の数に比例した密度の3次元点群を自然に再構築でき、テクスチャが乏しいシーンでも間接的手法が失敗するような状況でも、エッジや滑らかな領域を的確に捉えることができた。