[論文レビュー] Challenges in Monocular Visual Odometry: Photometric Calibration, Motion Bias and Rolling Shutter Effect

Nan Yang, Rui Wang+2 more|arXiv (Cornell University)|May 11, 2017

Robotics and Sensor-Based Localization参考文献 21被引用数 9

ひとこと要約

本論文は、最新の単眼視覚オドメトリ（VO）手法—直接法（DSO）、準直接法（SVO）、特徴ベース法（ORB-SLAM）—におけるPhotometric補正、運動バイアス、ローリングシャッターエフェクトの影響を体系的に評価している。予想に反する発見が明らかになった。例えば、特徴ベース手法においては、アクティブなカメラ制御が組み合わされない限り、Photometric補正の恩恵は限定的である。一方、サブピクセルの微調整はORB-SLAMの性能を顕著に向上させることを示した。また、実際の条件下では、直接法や準直接法はローリングシャッター歪みに対してより感受性が高く、顕著な性能劣化を示す。

ABSTRACT

Monocular visual odometry (VO) and simultaneous localization and mapping (SLAM) have seen tremendous improvements in accuracy, robustness and efficiency, and have gained increasing popularity over recent years. Nevertheless, not so many discussions have been carried out to reveal the influences of three very influential yet easily overlooked aspects: photometric calibration, motion bias and rolling shutter effect. In this work, we evaluate these three aspects quantitatively on the state of the art of direct, feature-based and semi-direct methods, providing the community with useful practical knowledge both for better applying existing methods and developing new algorithms of VO and SLAM. Conclusions (some of which are counter-intuitive) are drawn with both technical and empirical analyses to all of our experiments. Possible improvements on existing methods are directed or proposed, such as a sub-pixel accuracy refinement of ORB-SLAM which boosts its performance.

研究の動機と目的

• 最新の単眼視覚オドメトリ（VO）システムにおけるPhotometric補正、運動バイアス、ローリングシャッター効果の影響を体系的に評価すること。
• 既存のVO/SLAMアルゴリズムの改善と将来のアルゴリズム設計を支援する実用的知見を提供すること。
• 最新の産業用カメラ（高速リードアウト速度を有する）を用いた、現実的およびシミュレーテッドな条件下での直接法、準直接法、特徴ベース法の性能を評価すること。
• 非直感的な挙動、例えば特徴ベース手法における前向き・後向き実行時の性能差異や、高速カメラにおけるローリングシャッターの影響が小さいことの特定と分析。
• 実験的・定量的評価を通じて、ORB-SLAMに適したサブピクセル精度の微調整モジュールを提案し、性能向上を実証すること。

提案手法

• 実データおよびシミュレーテッドデータを用いて、DSO（直接法）、SVO 2.0（準直接法）、ORB-SLAM（特徴ベース法）におけるPhotometric補正の定量的評価。
• 運動バイアスの分析のため、前向きおよび後向きのVO実行を実装。深度表現、特徴点選択、量子化アーチファクトに注目。
• ICL-NUIMからの合成ローリングシャッター動画と、Cityscapesデータセット（Frankfurtシーケンス）からの実世界のローリングシャッター動画を用いた評価。
• 高速産業用カメラを用いて、特にリードアウト速度が速い場合のローリングシャッター効果の実世界への影響を評価。
• ORB-SLAMにおける特徴抽出およびマッチングの精度を向上させるために、サブピクセル精度の微調整モジュールを設計・実装。
• シーンのテクスチャ、明るさの変動、カメラ応答関数を重視した、各手法間の性能差の実証的・技術的分析。

実験結果

リサーチクエスチョン

• RQ1 Photometric補正は、直接法、準直接法、特徴ベース法の単眼VO手法にどのように影響を与えるか？
• RQ2 なぜ特徴ベースVOは前向き実行と後向き実行で顕著な性能差を示すのか？その原因は何か？
• RQ3 ローリングシャッター効果は、直接法、準直接法、特徴ベースVOシステムの精度にどのように影響を与えるか？特に現実的で高速なカメラ条件下での影響は？
• RQ4 ローリングシャッター効果がVOの性能劣化の主因となる条件は何か？逆に、無視できる条件はどのような状況か？
• RQ5 特徴抽出およびマッチングにおけるサブピクセルの微調整は、ORB-SLAMのような特徴ベースVOシステムの性能を顕著に向上させることができるか？

主な発見

• Photometric補正はDSOのような直接法に顕著な改善効果をもたらすが、アクティブなカメラ制御による一貫性のある画像品質が確保されない限り、ORB-SLAMのような特徴ベース手法には限定的な効果にとどまる。
• 特徴ベース手法は、前向き実行と後向き実行の間に顕著な運動バイアスを示す。主な原因は、深度表現、特徴点の管理、および特徴マッチングにおける量子化アーチファクトに起因する。
• ローリングシャッター効果は、直接法や準直接法よりも特徴ベース手法の性能劣化に与える影響が小さいが、ピクセルリードアウト速度が速い（最新の産業用カメラのように）場合には、直接法に対してもその影響は無視できるほど小さくなる。
• 低テクスチャ環境（屋内通路など）では、DSO や SVO といった直接法・準直接法が、画像強度勾配をより効果的に活用できることから、ORB-SLAM よりも優れた性能を発揮する。
• 提案されたORB-SLAM用のサブピクセル精度の微調整により、性能が顕著に向上した。これは、微細な特徴マッチングが特徴ベース手法の限界を補完できることを示している。
• Cityscapesデータセットの実世界のローリングシャッター動画では、ORB-SLAMが強い回転やオクルージョン条件下で失敗することが判明した。これは、失敗の主な要因がローリングシャッターではなく、特徴の不安定性にあることを示唆している。