[論文レビュー] LiDAR-Camera Calibration using 3D-3D Point correspondences

Ankit Dhall, Kunal Chelani+2 more|arXiv (Cornell University)|May 27, 2017

Robotics and Sensor-Based Localization参考文献 1被引用数 148

ひとこと要約

本論文は、3D-3D点対応を用いた LiDAR–カメラの閉形式外部校正法を提案し、ArUco/cardboard markers、ICP/Kabsch 比較、そしてマルチカメラフュージョンで実証している。

ABSTRACT

With the advent of autonomous vehicles, LiDAR and cameras have become an indispensable combination of sensors. They both provide rich and complementary data which can be used by various algorithms and machine learning to sense and make vital inferences about the surroundings. We propose a novel pipeline and experimental setup to find accurate rigid-body transformation for extrinsically calibrating a LiDAR and a camera. The pipeling uses 3D-3D point correspondences in LiDAR and camera frame and gives a closed form solution. We further show the accuracy of the estimate by fusing point clouds from two stereo cameras which align perfectly with the rotation and translation estimated by our method, confirming the accuracy of our method's estimates both mathematically and visually. Taking our idea of extrinsic LiDAR-camera calibration forward, we demonstrate how two cameras with no overlapping field-of-view can also be calibrated extrinsically using 3D point correspondences. The code has been made available as open-source software in the form of a ROS package, more information about which can be sought here: https://github.com/ankitdhall/lidar_camera_calibration .

研究の動機と目的

• 3D-3D対応を用いて、カメラと LiDAR の再現性が高く正確な外部キャリブレーションを提供する。
• 低密度 LiDAR の設定における 2D-3D キャリブレーション手法の限界を評価する。
• 3D-3D の閉形式解（Kabsch/SVD）による [R|t] 推定の有効性を示す。
• 重ね合わせのない FOV を含む複数カメラの点群を融合する際の本手法の有用性を示す。

提案手法

• 平面マーカー（カードボード）と ArUco マーカーを用いて、カメラ系と LiDAR系の既知の 3D 対応を抽出する。
• 既知の対応を用いて、センサフレーム間の剛体変換 [R|t] を閉形式解（Kabsch/SVD）で推定する。
• 2D-3D PnP 手法（PnP、EPnP、RaNSaC-PnP）および ICP と比較し、3D-3D が 2D-3D 手法より優れるケースを強調する。
• ノイズ低減のため、複数のスキャンを組み合わせて回転は四元数平均、平行移動は平均により [R|t] を平均化する。
• LiDAR フレームを介して変換を連結し、複数カメラの点群をフュージョンすることで、非重複視野間の外部校正を可能とする。

実験結果

リサーチクエスチョン

• RQ1 3D-3D 点対応が閉形式解で正確な LiDAR-カメラの外部姿勢推定をもたらすか？
• RQ2 低密度 LiDAR において、3D-3D 手法は精度と頑健性の点で 2D-3D PnP 手法を上回るか？
• RQ3 共通の LiDAR を基準として、非重複する FOV を持つ複数カメラをキャリブレーションできるか？
• RQ4 複数スキャンを横断しての平均化は、推定された [R|t] の安定性と精度を向上させるか？

主な発見

• 閉形式の 3D-3D アプローチ（Kabsch/SVD）は、回転・並進推定をテープ測定に近い値として返し、データセット全体で RMSE は約 0.024–0.026 m の範囲。
• 2D-3D 手法（PnP/EPnP と RaNSaC） は逆投影誤差を小さくできるが、手動のテープ測定とずれることがあり、投影誤差の最小化だけでは真の外部姿勢には不十分であることを示す。
• 複数実行にわたる四元数による回転の平均化と並進の平均化はノイズを低減し、[R|t] 推定の頑健性を向上させる。
• 本手法は、非重複 FOV をもつカメラの外部校正を、LiDAR 参照を介して点群をフュージョンすることでサポートし、マルチカメラの 3D 複数視野結合を可能にする。
• 著者は実践的な使用のために lidar_camera_calibration を実装したオープンソースの ROS パッケージを提供している。