[論文レビュー] Targetless Extrinsic Calibration of Multiple Small FoV LiDARs and Cameras using Adaptive Voxelization

Xiyuan Liu, Chongjian Yuan+1 more|arXiv (Cornell University)|Sep 14, 2021

Robotics and Sensor-Based Localization参考文献 26被引用数 6

ひとこと要約

本論文は、特徴抽出とマッチングの高速化を図るための適応的ボクセル化を用いた、複数の小型視野角（FoV）LiDARとカメラのターゲットレス外部パラメータキャリブレーション手法を提案する。この手法は、2次最適化を用いたバンドル調整（Bundle Adjustment）問題としてLiDARキャリブレーションを定式化し、LiDAR-LiDARキャリブレーションで15倍、LiDAR-カメラキャリブレーションで1.5倍の高速化を達成するとともに、1cm未満の高精度を維持する。

ABSTRACT

Determining the extrinsic parameter between multiple LiDARs and cameras is essential for autonomous robots, especially for solid-state LiDARs, where each LiDAR unit has a very small Field-of-View (FoV), and multiple units are often used collectively. The majority of extrinsic calibration methods are proposed for 360$^\circ$ mechanical spinning LiDARs where the FoV overlap with other LiDAR or camera sensors is assumed. Few research works have been focused on the calibration of small FoV LiDARs and cameras nor on the improvement of the calibration speed. In this work, we consider the problem of extrinsic calibration among small FoV LiDARs and cameras, with the aim to shorten the total calibration time and further improve the calibration precision. We first implement an adaptive voxelization technique in the extraction and matching of LiDAR feature points. Such a process could avoid the redundant creation of $k$-d trees in LiDAR extrinsic calibration and extract LiDAR feature points in a more reliable and fast manner than existing methods. We then formulate the multiple LiDAR extrinsic calibration into a LiDAR Bundle Adjustment (BA) problem. By deriving the cost function up to second-order, the solving time and precision of the non-linear least square problem are further boosted. Our proposed method has been verified on data collected in four targetless scenes and under two types of solid-state LiDARs with a completely different scanning pattern, density, and FoV. The robustness of our work has also been validated under eight initial setups, with each setup containing 100 independent trials. Compared with the state-of-the-art methods, our work has increased the calibration speed 15 times for LiDAR-LiDAR extrinsic calibration and 1.5 times for LiDAR-Camera extrinsic calibration (averaged result from 50 independent trials) while remaining accurate.

研究の動機と目的

• 重複する視野角（FoV）が最小限または存在しない複数の小型FoV LiDARとカメラ間の外部パラメータキャリブレーションの課題に対処すること。
• センサ数の増加に伴い特徴マッチングおよび外部パラメータキャリブレーションにかかる計算時間を低減すること。
• 視野角の重複が限られている、あるいは存在しない状況でも高精度なキャリブレーションを実現すること。
• スキャンパターン、点密度、視野角が異なる多様な固体状態LiDARに適応可能な、頑健なターゲットレスキャリブレーションパイプラインの開発。
• 実装をオープンソース化し、ロボット工学および自律システム分野のコミュニティが恩恵を受けること。

提案手法

• 適応的ボクセル化により、LiDAR点群を動的にボクセルに分割し、1ボクセルあたり1つの平面特徴のみを保証することで、重複した特徴マッチングを低減する。
• LiDAR外部パラメータキャリブレーションにバンドル調整を適用し、2次までの導関数を用いたコスト関数を導出することで、収束速度と精度を向上させる。
• 適応的ボクセルマップを用いてLiDAR特徴点を抽出・マッチングし、点群全体にわたりk-dツリーを完全に構築する必要がなくなる。
• 動きに依存する可視性（motion-driven co-visibility）を活用：センサプラットフォームを移動させることで、各センサが異なるタイミングで同じ特徴をスキャンし、視野角の重なりが少ない状況でも特徴対応を可能にする。
• LiDAR-カメラキャリブレーションでは、画像と再構築されたLiDAR点群の間で可視な特徴点を、同じ適応的ボクセルマップを用いて効率的にエッジ特徴抽出し、マッチングする。
• リー代数の$oxplus$演算を用いた誤差パrameterizationにより、最適化プロセスにおけるポーズおよび外部パラメータの正確な摂動モデルが可能になる。

実験結果

リサーチクエスチョン

• RQ1 適応的ボクセル化は、マルチセンサ外部パラメータキャリブレーションにおけるLiDAR特徴マッチングの計算コストを顕著に低減できるか？
• RQ2 2次導関数を用いた提案されたバンドル調整定式化は、1次導関数法と比較して、キャリブレーションの速度と精度をどのように向上させるか？
• RQ3 小型FoV LiDARとカメラの視野角重なりが最小限または存在しない状況でも、本手法が高精度キャリブレーションを達成できる範囲はどの程度か？
• RQ4 異なるスキャンパターン、点密度、視野角を持つ多様な固体状態LiDARに対して、本手法の頑健性はどの程度か？
• RQ5 最先端のターゲットレスキャリブレーション手法と比較して、本手法の実現可能な高速化と精度向上の程度はどのようになるか？

主な発見

• 本手法は、100回の独立試行平均でLiDAR-LiDAR外部パラメータキャリブレーションにおいて15倍の高速化を達成した。
• LiDAR-カメラキャリブレーションにおいては、50回の独立試行平均で1.5倍の高速化を達成したが、高い精度を維持した。
• LiDAR-カメラキャリブレーションでは平均で並進誤差6mm、回転誤差0.09度を達成し、LiDAR-LiDARキャリブレーションでは並進誤差8mm、回転誤差0.2度を達成した。
• 8種類の異なる初期設定においても、100回の独立試行ごとに一貫した性能を示し、高い信頼性を確認した。
• 適応的ボクセル化の導入により、k-dツリーの完全な構築が不要となり、特徴マッチングのオーバーヘッドが低減され、計算効率が向上した。
• GitHub上のオープンソース実装により、ロボット工学および自律システム分野におけるコミュニティの採用とさらなる開発が可能になった。