[論文レビュー] Continuous Direct Sparse Visual Odometry from RGB-D Images

Maani Ghaffari, William Clark+3 more|arXiv (Cornell University)|Apr 3, 2019

Robotics and Sensor-Based Localization参考文献 26被引用数 5

ひとこと要約

本稿では、再生核ヒルバート空間における関数的定式化を用いて、連続的で直接的かつスパースなRGB-D画像向けのビジュアルオドメトリ手法を提案する。これにより、閉形式の勾配計算と解像度に依存しない登録が可能になる。本手法は、SE(n)のリー代数における連続的流れ統合として剛体運動を定式化し、従来の直接的手法と比較して低テクスチャ環境下でも優れた性能を達成する。

ABSTRACT

This paper reports on a novel formulation and evaluation of visual odometry from RGB-D images. Assuming a static scene, the developed theoretical framework generalizes the widely used direct energy formulation (photometric error minimization) technique for obtaining a rigid body transformation that aligns two overlapping RGB-D images to a continuous formulation. The continuity is achieved through functional treatment of the problem and representing the process models over RGB-D images in a reproducing kernel Hilbert space; consequently, the registration is not limited to the specific image resolution and the framework is fully analytical with a closed-form derivation of the gradient. We solve the problem by maximizing the inner product between two functions defined over RGB-D images, while the continuous action of the rigid body motion Lie group is captured through the integration of the flow in the corresponding Lie algebra. Energy-based approaches have been extremely successful and the developed framework in this paper shares many of their desired properties such as the parallel structure on both CPUs and GPUs, sparsity, semi-dense tracking, avoiding explicit data association which is computationally expensive, and possible extensions to the simultaneous localization and mapping frameworks. The evaluations on experimental data and comparison with the equivalent energy-based formulation of the problem confirm the effectiveness of the proposed technique, especially, when the lack of structure and texture in the environment is evident.

研究の動機と目的

• 離散的画像サンプリングや解像度の制限を回避する連続的ビジュアルオドメトリ定式化の開発。
• 画像強度および深度データを再生核ヒルバート空間に表現することで、完全に解析的勾配計算を可能にする。
• 直接エネルギーに基づく手法を連続関数に一般化し、数値微分や明示的なデータ対応の必要性を排除する。
• 画像相関のスパース化されたカーネル表現を活用することで、低テクスチャ環境下でも高い性能を達成する。
• 並列処理可能で準密なトラッキング機能を備えたSLAMシステムへの統合基盤を提供する。

提案手法

• 本手法は、再生核ヒルバート空間におけるRGB-D測定値の関数同士の内積を最大化することで、センサの登録問題を定式化する。
• 対応するリー代数における流れの統合を通じて、SE(n)リー群の作用を3次元データに対して連続的に表現し、変換推定を可能にする。
• 画像強度および深度の連続的関数的表現を用いることで、ピクセルグリッド依存性を回避し、解像度に依存しない処理を実現する。
• カーネルの性質を用いてエネルギー関数の勾配を閉形式で導出するため、数値的画像勾配に依存しなくなる。
• 1e-3未満の値を閾値処理することでカーネル行列をスパース化し、計算効率と幾何的相関構造を維持する。
• 有効な計算を実現するため、エッジ検出と整列された深度データにおける1対1対応に基づく準密な点群を活用する。

実験結果

リサーチクエスチョン

• RQ1 解像度に依存せず、数値微分を回避する連続的定式化の直接的ビジュアルオドメトリが開発可能か？
• RQ2 SE(n)のリー群作用を、RGB-Dデータの関数的表現上で連続的に統合する方法は何か？
• RQ3 再生核ヒルバート空間における関数的表現が、勾配計算および低テクスチャシーンにおけるトラッキングの頑健性に与える影響は何か？
• RQ4 明示的なデータ対応が不要な状況でも、提案手法が既存の直接的手法と同等またはそれ以上の性能を達成できるか？
• RQ5 スパース化されたカーネル構造は、幾何的相関を保持しつつ並列計算を可能にするか？

主な発見

• 本手法は、RGB-Dデータの連続的関数的表現を用いることで、固定解像度に依存しない登録を実現し、解像度依存性を排除する。
• 勾配計算は完全に解析的で閉形式の導出が可能であり、数値微分に依存せず、計算の安定性が向上する。
• 特に低テクスチャ環境下では、SteinbrückerらのOpenCV実装（ベースライン）と比較して、追跡精度で優れるか同等の性能を達成する。
• 1e-3のカーネル行列スパース化閾値は、計算量を効果的に削減しつつも、幾何的相関を維持しており、図1のスパースカーネルパターンで示されている。
• 図3の累積誤差分布から、特に挑戦的なシーケンスにおいて、ベースラインと比較して位置および姿勢のずれが小さいことが確認される。
• フレームワークは自然に並列処理可能であり、準密トラッキングをサポートしており、CPUおよびGPUの両方でリアルタイム性能を達成できる。