[論文レビュー] Direct Visual Odometry using Bit-Planes

Hatem Alismail, Brett Browning+1 more|arXiv (Cornell University)|Jan 1, 2016

Advanced Image and Video Retrieval Techniques参考文献 53被引用数 8

ひとこと要約

本論文は、明るさ定常性仮定が成立しない環境においても、勾配ベース最適化フレームワークに新規のバイナリ記述子「Bit-Planes」を統合することで、直接的視覚オドメトリを改善する手法を提案する。Bit-Planesの光度不変性と、最小二乗法におけるハミング距離との同等性を活用することで、低照度、低テクスチャ、および著しい照度変動環境下でも、優れたポーズ推定が可能となり、地下坑道データセットにおいて最先端の特徴ベースおよび直接的手法を上回る性能を発揮する。

ABSTRACT

Feature descriptors, such as SIFT and ORB, are well-known for their robustness to illumination changes, which has made them popular for feature-based VSLAM\@. However, in degraded imaging conditions such as low light, low texture, blur and specular reflections, feature extraction is often unreliable. In contrast, direct VSLAM methods which estimate the camera pose by minimizing the photometric error using raw pixel intensities are often more robust to low textured environments and blur. Nonetheless, at the core of direct VSLAM is the reliance on a consistent photometric appearance across images, otherwise known as the brightness constancy assumption. Unfortunately, brightness constancy seldom holds in real world applications. In this work, we overcome brightness constancy by incorporating feature descriptors into a direct visual odometry framework. This combination results in an efficient algorithm that combines the strength of both feature-based algorithms and direct methods. Namely, we achieve robustness to arbitrary photometric variations while operating in low-textured and poorly lit environments. Our approach utilizes an efficient binary descriptor, which we call Bit-Planes, and show how it can be used in the gradient-based optimization required by direct methods. Moreover, we show that the squared Euclidean distance between Bit-Planes is equivalent to the Hamming distance. Hence, the descriptor may be used in least squares optimization without sacrificing its photometric invariance. Finally, we present empirical results that demonstrate the robustness of the approach in poorly lit underground environments.

研究の動機と目的

• 明るさ定常性仮定が崩壊する、劣悪な照度、低テクスチャ、非一様な照度環境下で直接的視覚オドメトリが失敗する問題に対処すること。
• 特徴記述子の光度不変性と、直接的手法の効率性および画素の密な利用性を統合すること。
• 直接VOフレームワークにおける勾配ベース最適化と互換性を持つバイナリ記述子を開発すること。
• 実世界の困難な環境（例：地下坑道）において、従来のVOシステムが失敗する状況でも、そのロバスト性を示すこと。

提案手法

• 単調な明るさ変化に対して不変である画像のビットプレーンから導出されるバイナリ記述子「Bit-Planes」を提案する。
• ガウス＝ニュートン最適化による光度誤差最小化を用いて、Bit-Planesを直接的視覚オドメトリフレームワークに統合する。
• Bit-Planesベクトル間の二乗ユークリッド距離が数学的にハミング距離と同等であることを実証し、効率的な最小二乗最適化が可能であることを示す。
• 収束性とロバスト性を向上させるために、マルチスケール画像ピラミッドを用いた粗いから細かい段階への戦略を採用する。
• リアルタイム動作を実現するため、定距離ステレオ設定を採用し、ハードウェアアクセラレーションを用いたSGMによる視差推定を実装する。
• すべてのアルゴリズムを真値深度マップで初期化することで、特徴抽出や深度推定の失敗とは独立してポーズ推定誤差を分離する。

実験結果

リサーチクエスチョン

• RQ1 バイナリ記述子は、極端な照度変化下でも直接的視覚オドメトリパイプラインに効果的に統合可能か？
• RQ2 Bit-Planesの使用により、従来の直接的および特徴ベース手法が失敗する低テクスチャ・低照度環境でも、直接的手法が信頼性を持って動作可能になるか？
• RQ3 Bit-Planesベクトル間の二乗ユークリッド距離はハミング距離と同等か？これにより、標準的な最小二乗最適化と互換性が得られるか？
• RQ4 極端な照度条件下における精度とロバスト性の観点から、提案手法は最先端の直接的および特徴ベースVOシステムと比較してどのように優れているか？

主な発見

• KITTIベンチマークにおいて、VISO2およびFOVISと比較して、特に高速走行時における大規模な動きが直接的手法の性能を低下させる状況で、著しく低い並進誤差と回転誤差を達成した。
• Bit-Planesにより、照度が極めて低い地下坑道環境でも400メートル以上にわたり、3Dマップにおいて最小限のドリフトを示すロバストな視覚オドメトリが実現された。
• 実世界の地下坑道データから得た結果により、低テクスチャ・低照度条件において、従来の直接的および特徴ベースアプローチを上回る性能を示した。
• Bit-Planesベクトル間の二乗ユークリッド距離が数学的にハミング距離と同等であることが実証され、フレームワーク内での標準的最小二乗最適化の利用が正当化された。
• 自動露出設定による非線形的強度歪みが生じた画像でも、屋外および屋内テストシーケンスで高精度を維持した。
• 失敗事例は主に、近距離のLED照明による画像の洗い出し（washout）に起因しており、今後の研究として極端な照度飽和処理の向上が求められる。