[論文レビュー] Edge-Direct Visual Odometry

Kevin Christensen, Martial Hebert|arXiv (Cornell University)|Jun 11, 2019

Robotics and Sensor-Based Localization参考文献 25被引用数 8

ひとこと要約

本論文では、一連の画像から抽出したエッジ画素にのみ光度誤差を最小化するスパースなビジュアルオドメトリ手法、Edge-Direct Visual Odometryを提案する。ロバストなガウス・ニュートン最適化を用い、Cannyエッジ検出と自動しきい値設定により特定されたエッジに注目することで、密度的な手法に比べ90%の計算量削減を達成し、ドリフトを顕著に低減しながら、標準的なRGB-Dベンチマークで高い効率性を維持した、最先端の精度を実現した。

ABSTRACT

In this paper we propose an edge-direct visual odometry algorithm that efficiently utilizes edge pixels to find the relative pose that minimizes the photometric error between images. Prior work on exploiting edge pixels instead treats edges as features and employ various techniques to match edge lines or pixels, which adds unnecessary complexity. Direct methods typically operate on all pixel intensities, which proves to be highly redundant. In contrast our method builds on direct visual odometry methods naturally with minimal added computation. It is not only more efficient than direct dense methods since we iterate with a fraction of the pixels, but also more accurate. We achieve high accuracy and efficiency by extracting edges from only one image, and utilize robust Gauss-Newton to minimize the photometric error of these edge pixels. This simultaneously finds the edge pixels in the reference image, as well as the relative camera pose that minimizes the photometric error. We test various edge detectors, including learned edges, and determine that the optimal edge detector for this method is the Canny edge detection algorithm using automatic thresholding. We highlight key differences between our edge direct method and direct dense methods, in particular how higher levels of image pyramids can lead to significant aliasing effects and result in incorrect solution convergence. We show experimentally that reducing the photometric error of edge pixels also reduces the photometric error of all pixels, and we show through an ablation study the increase in accuracy obtained by optimizing edge pixels only. We evaluate our method on the RGB-D TUM benchmark on which we achieve state-of-the-art performance.

研究の動機と目的

• 全画像強度ではなくエッジ画素を活用することで、より効率的かつ正確なビジュアルオドメトリ手法の開発を目的とする。
• エッジ画素のみで画像全体にわたる光度誤差を最小化できることを示し、計算負荷を低減しながらも精度を損なわないことを目的とする。
• エッジ直接最適化と直接的な密度的手法を比較し、高レベルの画像ピラミッドにおける誤差収束性とアリーアスイング効果の違いを明らかにすることを目的とする。
• ランダム画素のサンプリングとキーフレーム統合を用いたアブレーションスタディを通じて、エッジベース最適化のロバスト性と安定性を評価することを目的とする。
• 相対姿勢のドリフトと絶対軌道誤差が、他の手法に比べてエッジ画素のみを最適化することで低減することを確立することを目的とする。

提案手法

• 本手法は、自動しきい値設定を伴うCannyエッジ検出を用いて、1枚の基準画像からエッジを抽出する。これは検証済みのエッジ検出器の中で最適であると判明した。
• 光度誤差関数をエッジ画素強度のみに基づいて定式化し、相対カメラ姿勢を推定するためにロバストなガウス・ニュートン最適化を用いて最小化する。
• アルゴリズムは、Lucas-Kanadeの逆合成的フレームワークを採用しており、使用する画素数に比例する線形時間計算量を達成する。エッジのみを用いることで、これは顕著に削減される。
• 相対姿勢と基準画像内のエッジ画素を同時に推定するために、光度誤差を最小化する。これにより、別個の特徴マッチングステップを回避できる。
• 定常運動仮定とキーフレーム管理を統合することで、長時間のシーケンスにおいても安定性を向上させ、ドリフトを低減する。
• エッジ選択の優位性を検証するため、エッジベース最適化とランダム画素サンプリング、密度的画素最適化を比較する。

実験結果

リサーチクエスチョン

• RQ1 エッジ画素でのみ光度誤差を最小化することで、全画像の密度的最適化と同等またはそれ以上の精度を達成できるか？
• RQ2 計算効率と収束安定性という観点から、エッジベース最適化は密度的手法と比べてどのように異なるか？
• RQ3 エッジ直接ビジュアルオドメトリに最適なエッジ検出器は何か？ また、性能にどのように影響を与えるか？
• RQ4 エッジ画素での光度誤差最小化は、画像全体の画素における誤差低減に寄与するか？
• RQ5 エッジ画素の使用は、長時間シーケンスにおける軌道ドリフトとフレーム間レイテンシにどのように影響を与えるか？

主な発見

• Edge-Direct手法はTUM RGB-Dベンチマークで最先端の性能を達成し、先行手法に比べて顕著に低い相対姿勢ドリフトと絶対軌道誤差を実現した。
• エッジ画素のみを最適化することで、密度的手法に比べて計算量を約90%削減でき、Intel i7 CPU上で約50 fpsの処理速度を達成した。
• アブレーションスタディの結果、同じサイズのランダム画素選択に比べ、エッジ画素がより高い精度と安定性を示した。
• エッジ画素での光度誤差最小化は、画像全体の画素における誤差も同時に低減させることが示され、エッジが正確な姿勢推定に最小限十分であることが裏付けられた。
• 密度的手法では、高レベルの画像ピラミッドでアリーアスイング効果が生じ、誤った収束を引き起こす問題があるが、Edge-Directアプローチではこれを回避できた。
• 本手法は長時間シーケンス（例：99秒、18メートル）においても、ボトルネック調整やループクロージャーなしで、低ドリフトを維持するというロバスト性を示した。