[論文レビュー] Direct Monocular Odometry Using Points and Lines

Shichao Yang, Sebastian Scherer|arXiv (Cornell University)|Mar 19, 2017

Robotics and Sensor-Based Localization参考文献 21被引用数 7

ひとこと要約

本稿では、点とエッジを用いて光度誤差と幾何誤差を統合することで、テクスチャが乏しい環境における耐性を向上させるリアルタイム単眼ビジュアルオドメトリ（VO）システムを提案する。確率的フレームワークにおいて明るさの一貫性とエッジの整合性を同時に最適化することで、最先端の直接法と比較して、状況が厳しい環境でも状態推定誤差が50%以上も低減された。

ABSTRACT

Most visual odometry algorithm for a monocular camera focuses on points, either by feature matching, or direct alignment of pixel intensity, while ignoring a common but important geometry entity: edges. In this paper, we propose an odometry algorithm that combines points and edges to benefit from the advantages of both direct and feature based methods. It works better in texture-less environments and is also more robust to lighting changes and fast motion by increasing the convergence basin. We maintain a depth map for the keyframe then in the tracking part, the camera pose is recovered by minimizing both the photometric error and geometric error to the matched edge in a probabilistic framework. In the mapping part, edge is used to speed up and increase stereo matching accuracy. On various public datasets, our algorithm achieves better or comparable performance than state-of-the-art monocular odometry methods. In some challenging texture-less environments, our algorithm reduces the state estimation error over 50%.

研究の動機と目的

• テクスチャが乏しく、コントラストが低い環境では光度誤差のみでは不十分となる直接法の限界を解消すること。
• エッジからの幾何制約を組み込むことで、照明変化や高速運動に対する耐性を向上させること。
• エッジを正則化要因として用いることで、マッピングの精度と速度を向上させ、効率的なステレオマッチングを実現すること。
• トラッキングとマッピングにおいて、光度観測と幾何観測の不確実性を確率的にモデル化し、最適に統合するためのモデルを開発すること。
• エッジに基づく最適化と準密な深度推定を用いることで、リアルタイム性能を維持しながら高い精度を達成すること。

提案手法

• 本システムは、SDVOと同様に、高勾配ピクセルを用いてキーフレームごとに準密な深度マップを維持する。
• 各フレームに対して、頑健なエッジ抽出器を用いてエッジ検出を行い、線分を記述子を用いてフレーム間でマッチングする。
• トラッキングでは、明るさの一貫性（光度誤差）とエッジ再投影誤差（幾何誤差）を組み合わせた連合コスト関数を最小化することでカメラポーズを最適化する。
• 確率的フレームワークにより、光度観測と幾何観測の両方の不確実性をモデル化し、点とエッジ測定値の最適統合を可能にする。
• マッピングでは、マッチング済みエッジがステレオマッチングをガイドし、探索空間を削減し、解析的エッジベース正則化により深度マップの品質を向上させる。
• リアルタイム性能を確保するため、エッジ記述子と検出処理を最適化し、計算時間の分析と、ダウンサンプリングやEdlineなどの高速検出器を用いた潜在的な高速化を検討する。

実験結果

リサーチクエスチョン

• RQ1 エッジを用いて光度誤差と幾何誤差を統合することで、テクスチャが乏しい環境下での単眼VO性能を顕著に向上させられるか？
• RQ2 エッジ制約を組み込むことで、収束域が広がり、照明変化やモーションブラーに対する耐性が向上するか？
• RQ3 マッピング段階でステレオマッチングの精度と速度をどれほど向上させられるか？
• RQ4 リアルタイムVOシステムにおいて、光度観測と幾何観測の不確実性を確率的にモデル化し、統合する方法は何か？
• RQ5 エッジに基づく正則化は、直接法における準密な深度マップの品質と一貫性を向上させられるか？

主な発見

• ICL/office1データセットでは、相対位置誤差を1.85 cm/sまで低減し、テクスチャが乏しい環境下でSDVO（1.33 cm/s）とORB-SLAM（X、失敗）を上回った。
• fr3/cabinet-bigシーケンスでは、8.82 cm/sの誤差を達成し、SDVOの16.23 cm/sと比較して45.6%の低減を実現し、低テクスチャ環境下での優れた性能を示した。
• fr3/cabinetシーケンスでは、13.3 cm/sの誤差を記録し、SDVOの21.7 cm/sを大きく下回った。ORB-SLAMは完全に失敗した。
• TUM fr3/cabinet_bigデータセットでは、約20 Hzのリアルタイム性能を達成し、トラッキング処理が19.23 ms、1フレームあたりの合計処理時間が51.95 msであった。
• エッジ検出と記述子計算が合計処理時間の28.2%（16.24 + 11.95 ms）を占めており、最適化の主なボトルネックであることが判明した。
• 光度誤差と幾何誤差の確率的統合により、収束域が拡大し、大規模な動きや勾配が小さい状況でも安定した最適化が可能になった。