[論文レビュー] LIMO: Lidar-Monocular Visual Odometry

Johannes Graeter, Alexander Wilczynski+1 more|arXiv (Cornell University)|Jul 19, 2018

Robotics and Sensor-Based Localization参考文献 20被引用数 9

ひとこと要約

LIMOは、局所的な平面フィッティングと意味的ラベル付けを用いて、モノクローラル特徴追跡とLIDARから得られる深度推定値を融合することで、外れ値の排除を強化するライダー・モノクローラル視覚オドメトリーシステムを提案する。これらの深度推定値をキーフレームベースのバンドル調整フレームワークに統合することで、ループクロージャーやICPベースの最適化を用いない状態でも、KITTIベンチマークで並進誤差13位、回転誤差11位という最先端の性能を達成した。

ABSTRACT

Higher level functionality in autonomous driving depends strongly on a precise motion estimate of the vehicle. Powerful algorithms have been developed. However, their great majority focuses on either binocular imagery or pure LIDAR measurements. The promising combination of camera and LIDAR for visual localization has mostly been unattended. In this work we fill this gap, by proposing a depth extraction algorithm from LIDAR measurements for camera feature tracks and estimating motion by robustified keyframe based Bundle Adjustment. Semantic labeling is used for outlier rejection and weighting of vegetation landmarks. The capability of this sensor combination is demonstrated on the competitive KITTI dataset, achieving a placement among the top 15. The code is released to the community.

研究の動機と目的

• モノクローラルカメラとLIDARを別々に使用する場合が多い中で、堅牢で高精度な視覚オドメトリの未満たされたニーズに対処すること。
• カメラベースの特徴追跡とLIDARの正確な深度測定との間のドメインギャップを、信頼性の高い深度関連付け手法によって埋めること。
• 意味的ラベル付けと地面平面の点に対する特別な処理を組み込むことで、特に高速走行やテクスチャが乏しいハイウェイ環境において、トラジェクトリの精度を向上させ、ドリフトを低減すること。
• ループクロージャーを用いずに、キーフレームとランドマークの選択を最適化することで、計算効率を高め、リアルタイムでオンラインの視覚オドメトリを可能にすること。
• LIDARとカメラデータの相補的な強みを活用することで、既存のモノクローラルおよびステレオVSLAMシステムを上回ること。

提案手法

• LIMOは、特徴点をLIDAR点群に投影し、近隣のLIDAR点に対して局所的な平面フィッティングを適用することで、モノクローラル特徴点の深度を推定する。
• 局所的な平面仮定を適用して外れ値を排除し、地面平面の点を別々に処理することで、ハイウェイ環境における耐性を高める。
• 深層ニューラルネットワーク（Cityscapesで学習済み）による意味的セグメンテーションにより、特徴を「植生」または「インfrastrucure」とラベル付けし、最適化における意味的意識のある重み付けを可能にする。
• 幾何的および意味的基準に基づいてランドマークを選択・剪定することで、計算負荷を低減し、耐性を向上させる。
• キーフレームベースのバンドル調整フレームワークにより、深度推定特徴とカメラポーズを統合し、時間経過に伴う再投影誤差を最小化する。
• 事前推定とフレーム間の運動統合を用いて、キーフレーム間の低遅延ポーズ推定を維持する。

実験結果

リサーチクエスチョン

• RQ1 LIDARから得られる深度推定値をモノクローラル特徴トラックと信頼性高く関連付けることで、視覚オドメトリの精度が向上するか？
• RQ2 ランドマークの意味的ラベル付け（例：植生対インfrastrucure）は、視覚オドメトリの耐性および精度にどのように影響するか？
• RQ3 LIDARからの深度制約を組み込んだキーフレームベースのバンドル調整フレームワークは、ループクロージャーを用いない状態で、最先端のモノクローラルおよびステレオVSLAMシステムを上回ることができるか？
• RQ4 高速走行と低テクスチャ環境下でのハイウェイシナリオにおいて、地面平面の点に対する特別な処理が性能に与える影響は何か？
• RQ5 LIDAR深度の統合は、トラジェクトリの終点精度に不可欠な回転推定をどのように改善するか？

主な発見

• LIMOはKITTIベンチマークで平均並進誤差0.93%、回転誤差0.0026°/mを達成し、並進誤差で13位、回転誤差で11位の順位を獲得した。
• バンドル調整にLIDAR深度を組み込むことで、フレーム間ベースライン（Liviodo）と比較して回転誤差が約40％低減された。これは、LIDAR深度の恩恵が顕著であることを示している。
• ORB-SLAM2およびStereo LSD-SLAMを上回り、ICPベースでないLIDARカメラ視覚オドメトリーシステムとして最高の性能を発揮した。
• 植生ランドマークの重みが0.9のときに最適な結果が得られたが、最適な重みはシーケンスごとに変動し、複雑なシーン依存のダイナミクスを示した。
• ループクロージャーを用いずに数キロメートルにわたって非常に低いドリフトを示したトラジェクトリは、深度支援バンドル調整の有効性を裏付けた。
• 4コアのCPU上で5 Hzで動作し、オンライン視覚オドメトリ応用におけるリアルタイム実現可能性を示した。