[論文レビュー] Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera in Targetless Environments

Chongjian Yuan, Xiyuan Liu+2 more|arXiv (Cornell University)|Mar 2, 2021

Robotics and Sensor-Based Localization参考文献 23被引用数 19

ひとこと要約

本稿では、自然なエッジ特徴を活用して、チェッカーボードや人工的ターゲットに依存せずに、高解像度LiDARとカメラシステムのピクセル単位の外部パラメータ補正手法を提案する。ボクセルカットと平面フィッティングに基づく新規なLiDARエッジ抽出技術を用いることで、特に固体状態センサ（例：Livox）から得られる高解像度点群における深度不連続性に起因するエッジの不安定性を克服し、屋内・屋外を問わず多様なシーンにおいても、安定的かつ高精度な補正を実現する。

ABSTRACT

In this letter, we present a novel method for automatic extrinsic calibration of high-resolution LiDARs and RGB cameras in targetless environments. Our approach does not require checkerboards but can achieve pixel-level accuracy by aligning natural edge features in the two sensors. On the theory level, we analyze the constraints imposed by edge features and the sensitivity of calibration accuracy with respect to edge distribution in the scene. On the implementation level, we carefully investigate the physical measuring principles of LiDARs and propose an efficient and accurate LiDAR edge extraction method based on point cloud voxel cutting and plane fitting. Due to the edges' richness in natural scenes, we have carried out experiments in many indoor and outdoor scenes. The results show that this method has high robustness, accuracy, and consistency. It can promote the research and application of the fusion between LiDAR and camera. We have open-sourced our code on GitHub to benefit the community.

研究の動機と目的

• チェッカーボードなどの外部マーカーを必要とする従来のターゲットベース補正法の限界を克服し、動的または長距離応用において実用的でない問題に対処する。
• 特に固体状態センサ（例：Livox）から得られる高解像度LiDAR点群において、深度不連続性に起因するエッジの不安定性や不正確さを是正する。
• 回転・並進の両方において、回転で±3°、並進で±5 cmの範囲内でランダムな摂動を加えた初期化を想定し、収束性の高さを評価する。
• エッジ分布の制約解析と正確なLiDARノイズモデルの統合により、高精度かつ一貫性のある外部パラメータ補正を実現する。
• 事前に設置された補正ターゲットに依存しない、現地でのリアルタイムまたはオンライン補正を可能にする。

提案手法

• ボクセルカットと平面フィッティングを適用することで、深度不連続性に基づく手法に比べて信頼性の高いエッジ抽出が可能な、深度連続的エッジ抽出法を提案する。
• 2次元画像エッジと3次元LiDARエッジの対応関係を用い、非線形最適化フレームワークで再投影誤差を最小化する。
• 補正精度と収束安定性を向上させるために、物理的根拠を持つLiDARノイズモデルを統合する。
• 2次元画像エッジとその3次元投影との間の再投影誤差を最小化する非線形最小二乗最適化問題として補正問題を定式化する。
• 収束性の妥当性を評価するため、回転で±3°、並進で±5 cmの範囲内でランダムな摂動を加えた初期化戦略を採用する。
• Livox AviaとOuster OS2-64 LiDARの両方で実験を行い、回転式と固体状態のLiDARの両方に対応可能であることを実証。特に、モーションベースの登録手法と組み合わせることで、低解像度の回転式LiDARでも有効であることを示す。

実験結果

リサーチクエスチョン

• RQ1 構造化されていないシーンにおける自然エッジ特徴は、人工的ターゲットが不要な高精度な外部パラメータ補正に十分かつ信頼性のある制約を提供できるか？
• RQ2 シーン内のエッジの分布および方向性が、LiDAR-カメラ補正の精度と安定性にどのように影響を与えるか？
• RQ3 ボクセルカットと平面フィッティングに基づく深度連続的エッジ抽出法は、深度不連続性に基づくエッジ検出法に比べ、高解像度LiDARに対してより正確かつ信頼性が高いか？
• RQ4 提案手法は、実世界の多様な環境において、ターゲットベース手法と同等のピクセル単位の補正精度を達成できるか？
• RQ5 特に長距離またはスパarsな点群環境下において、初期化の不確実性やセンサノイズに対して、本手法はどれほど頑健か？

主な発見

• 提案手法は、屋内および屋外の両シーンでピクセル単位の補正精度を達成しており、ACSC や Zhou [6] に代表されるターゲットベース手法と同等またはそれ以上の性能を示した。
• 20回の異なるランダム初期化（回転±3°、並進±5 cm）においても、一貫性のある外部パラメータに収束するという高い頑健性を示した。
• Ouster OS2-64 LiDARを用いた実験では、LiDARインertialオドメトリを組み合わせることで点群解像度を向上させた場合、低解像度スキャンでも本手法が有効であることが確認された。
• ボクセルカットと平面フィッティングによる深度連続的エッジ抽出は、深度不連続性に基づくエッジ検出法に比べ、はるかに信頼性の高い補正を可能にした。
• 定量的比較では、提案手法とターゲットベース手法との間で残差分布に類似性が認められ、提案手法はターゲットベース手法が複数回の配置を要するのに対し、1組のデータで同等の精度を達成した。
• レーザビームの発散効果が、一貫性のある点群カラーリングと理論的発散角（0.28°半角）に一致する測定されたインフレーション幅（6 mで1.4 cm）から、本手法が効果的にこれを補正していることが裏付けられた。