[論文レビュー] Joint Intrinsic and Extrinsic LiDAR-Camera Calibration in Targetless Environments Using Plane-Constrained Bundle Adjustment

Liang Li, Haotian Li+7 more|arXiv (Cornell University)|Aug 24, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

本論文は、平面制約付きバンドル調整を用いた、標的を必要としない同時内在パラメータおよび外在パラメータのLiDAR-カメラキャリブレーション手法を提案する。この手法は、2次元の視覚特徴と3次元のLiDAR平面の間の幾何的整合性を強制することで、カメラの内在パラメータ、外在パラメータ、および視覚的点群の位置を同時に最適化する。本手法は、KITTIデータセットにおいて平均回転誤差を0.13°、並進誤差を3.83 cmまで低減し、5MPカメラの内在パラメータ誤差が6.23ピクセルという最先端の精度を達成した。

ABSTRACT

This paper introduces a novel targetless method for joint intrinsic and extrinsic calibration of LiDAR-camera systems using plane-constrained bundle adjustment (BA). Our method leverages LiDAR point cloud measurements from planes in the scene, alongside visual points derived from those planes. The core novelty of our method lies in the integration of visual BA with the registration between visual points and LiDAR point cloud planes, which is formulated as a unified optimization problem. This formulation achieves concurrent intrinsic and extrinsic calibration, while also imparting depth constraints to the visual points to enhance the accuracy of intrinsic calibration. Experiments are conducted on both public data sequences and self-collected dataset. The results showcase that our approach not only surpasses other state-of-the-art (SOTA) methods but also maintains remarkable calibration accuracy even within challenging environments. For the benefits of the robotics community, we have open sourced our codes.

研究の動機と目的

• 実世界の標的なし環境において、キャリブレーションターゲットが不実用的な状況でのLiDARおよびカメラシステムの高精度な同時キャリブレーションの課題に対処すること。
• 固定されたカメラの内在パラメータを仮定する既存の標的なし手法の限界を克服すること、特にズームや温度変化などの動的条件下での適用を想定すること。
• LiDAR平面からの深度制約を活用することで、特徴の不一致に対する感受性を低減し、内在パラメータのキャリブレーション精度を向上させること。
• 視覚的点群の位置、カメラの内在パラメータ、外在パラメータを一括して推定する統合最適化フレームワークを構築すること。

提案手法

• 本手法は、視覚的バンドル調整に加え、視覚特徴とLiDARで推定された平面との間の点対平面登録に基づく新しい残差項を組み込んだ、平面制約付きバンドル調整問題として同時キャリブレーションを定式化する。
• 自然なシーンの平面を活用して視覚的点群に深度制約を提供することで、3次元再構築の曖昧性を低減し、内在パラメータのキャリブレーションのロバスト性を向上させる。
• 画像の再投影誤差とLiDAR平面の制約の両方を用いて、一元的な最適化フレームワークにより、カメラの内在パラメータ、外在パラメータ、および三角測量された3次元視覚的点群を同時に最適化する。
• 視覚的特徴および三角測量された点群の不確実性モデルを組み込むことで、最適化の安定性と収束性を向上させる。
• LiDAR点群に対してRANSACベースの平面セグメンテーションアルゴリズムを適用し、平面構造を抽出した後、幾何的投影により画像内の2次元エッジとマッチングする。
• 初期化段階では近似的なカメラポーズと内在パラメータを用い、その後、ロバストなコスト関数を用いたガウス・ニュートンソルバーにより残差誤差を最小化する形で最適化を実行する。

実験結果

リサーチクエスチョン

• RQ1 標的を必要としないキャリブレーション手法は、人工的なキャリブレーションターゲットに依存せずに、カメラの内在パラメータとLiDAR-カメラ外在パラメータの高精度な同時推定を達成できるか？
• RQ2 既知の深度情報が欠如する状況下で、LiDAR平面の制約を組み込むことで、内在パラメータのキャリブレーション精度とロバスト性はどのように向上するか？
• RQ3 従来の視覚のみのバンドル調整と比較して、平面制約付きバンドル調整は特徴の不一致に対する感受性をどの程度低減するか？
• RQ4 ズームや温度変化などの動的カメラパラメータや複雑なシーン幾何構造を有する困難な現実世界環境でも、本手法はどの程度の性能を示すか？

主な発見

• 本手法はKITTIデータセットにおいて平均回転誤差0.13°、並進誤差3.83 cmを達成し、回転精度において最先端の同時SfM手法を上回った。
• 自ら収集したデータセットでは、500万画素カメラの平均内在パラメータ誤差が6.23ピクセルにまで低減され、動的条件下でも高い精度を示した。
• キャリブレーションパラメータを用いたカラーリング結果は、すべてのシーンで最小限の色ずれを示し、SOTA手法と比較して優れたキャリブレーション品質を確認した。
• 本手法は、共同SfMベースラインと比較して回転誤差を約2/3まで低減し、ベースラインの0.37°から0.13°にまで改善した。
• Z軸制約が限られた退化した状況でも高い精度を維持しており、困難なキャリブレーション状況におけるロバスト性を示した。
• 視覚的比較では、本手法は一貫して高品質なカラーリングされた点群を生成したが、比較手法では顕著な色ずれが観察された。