[論文レビュー] LiDAR and Camera Calibration using Motion Estimated by Sensor Fusion Odometry

Ryoichi Ishikawa, Takeshi Oishi+1 more|arXiv (Cornell University)|Apr 14, 2018

Advanced Vision and Imaging参考文献 23被引用数 12

ひとこと要約

本稿では、スケールに敏感なカメラの運動を推定するためにセンサーフュージョンオドメトリを用いた、ターゲットレスで自動的な2次元-3次元キャリブレーション手法を提案する。融合されたLiDARとRGBデータからの運動推定を通じて、初期パラメータや反射率データを必要とせずに、反復的に外挿パラメータを最適化することで、最先端の手法よりも高い精度を達成する。特に並進方向の精度が顕著に向上する。

ABSTRACT

In this paper, we propose a method of targetless and automatic Camera-LiDAR calibration. Our approach is an extension of hand-eye calibration framework to 2D-3D calibration. By using the sensor fusion odometry method, the scaled camera motions are calculated with high accuracy. In addition to this, we clarify the suitable motion for this calibration method. The proposed method only requires the three-dimensional point cloud and the camera image and does not need other information such as reflectance of LiDAR and to give initial extrinsic parameter. In the experiments, we demonstrate our method using several sensor configurations in indoor and outdoor scenes to verify the effectiveness. The accuracy of our method achieves more than other comparable state-of-the-art methods.

研究の動機と目的

• 手動での対応付けや特別なキャリブレーションターゲットを必要としない、完全に自動化されたカメラ-LiDARシステムのキャリブレーション手法の開発を目的とする。
• モノクローラーの運動推定に内在するスケールの曖昧さを克服するため、スケールに敏感なカメラの運動を推定するためにセンサーフュージョンオドメトリを活用し、キャリブレーションの精度を向上させることを目的とする。
• 外挿パラメータの初期推定値やLiDARの反射率データを必要とせず、実用的な現場でのキャリブレーションを可能にする。
• 多様な屋内・屋外のシーン、さまざまなセンサ構成および運動タイプを想定した環境で、本手法の有効性を検証することを目的とする。

提案手法

• 連続する3次元点群の反復的最近傍点（ICP）アライメントを用いてLiDARの運動を推定する。
• 連続するRGB画像間の2次元特徴点マッチングを用いて、スケールが曖昧なカメラの運動を初期推定する。
• 初期外挿パラメータを用いて、LiDAR点群とカメラ画像を融合することで、スケールに敏感なカメラの運動をセンサーフュージョンオドメトリにより精緻化する。
• 精緻化されたスケールに敏感なカメラの運動とLiDARの運動を用いて、反復的ハンド・アイキャリブレーションを実行し、外挿パラメータを更新する。
• 外挿パラメータが収束するまで、運動推定とパrameterの最適化プロセスを繰り返す。
• 反射率データ、初期パラメータの推定値、手動による対応付けを一切必要としない、生のRGB画像と3次元点群のみを入力とする。

実験結果

リサーチクエスチョン

• RQ1 外部ターゲットを用いずに、センサーフュージョンオドメトリを効果的に活用してスケールに敏感なカメラの運動を推定し、2次元-3次元キャリブレーションを実現できるか？
• RQ2 ターゲットレスで自動化された環境下で、高精度なキャリブレーションを達成するために最も効果的なセンサの運動タイプは何か？
• RQ3 最小限の運動データを用いた場合、本手法は最先端の手法と比較してどの程度の精度を示すか？
• RQ4 反射率データや初期パラメータの推定値を必要とせず、標準的なRGBと3次元点群データのみで、安定したキャリブレーションを達成できるか？

主な発見

• 提案手法は、スケールが曖昧な運動に基づく手法と比較して、回転方向で1度未満の高精度を達成し、並進方向の精度も顕著に向上させた。
• HDL-64EおよびLadybug 3を用いた実験では、回転誤差が1°未満であり、並進方向の精度も非常に高く、スケールなしの運動推定法や相互情報量ベースの手法を上回った。
• 点群が疎でスキャン角が狭い状況では手動キャリブレーションが失敗したが、本手法は限られたデータと困難なセンサ構成下でも成功した。
• 本手法は垂直方向の運動（例：プラットフォームの高さ変化）に対しても頑健であり、標準的なモバイルプラットフォームの運用のみで実現可能な現場でのキャリブレーションを可能にした。
• 反復的精緻化プロセスは信頼性高く収束し、センサーフュージョンオドメトリとハンド・アイキャリブレーションを組み合わせた有効性を示した。
• 本手法は反射率データや初期外挿パラメータの推定値を一切必要としないため、動的で現実世界に即した展開に適している。