[論文レビュー] LCCNet: LiDAR and Camera Self-Calibration using Cost Volume Network

Xudong Lv, Boya Wang+2 more|arXiv (Cornell University)|Dec 27, 2020

Robotics and Sensor-Based Localization参考文献 21被引用数 10

ひとこと要約

LCCNet は、RGB 画像と深度画像間のクロスセンサ特徴相関をモデル化するためのコストボリューム層を用いた、オンライン LiDAR-カメラ自己自己校正のためのエンドツーエンドのディーブラーニングフレームワークである。大規模な誤校正範囲（±1.5m、±20°）下でも、並列推論時間 24ms（1GPU で）のリアルタイム性能を発揮し、平均絶対校正誤差は並進方向で 0.297 cm、回転方向で 0.017° を達成し、最先端の学習ベース手法を上回っている。

ABSTRACT

In this paper, we propose a novel online self-calibration approach for Light Detection and Ranging (LiDAR) and camera sensors. Compared to the previous CNN-based methods that concatenate the feature maps of the RGB image and decalibrated depth image, we exploit the cost volume inspired by the PWC-Net for feature matching. Besides the smooth L1-Loss of the predicted extrinsic calibration parameters, an additional point cloud loss is applied. Instead of regress the extrinsic parameters between LiDAR and camera directly, we predict the decalibrated deviation from initial calibration to the ground truth. During inference, the calibration error decreases further with the usage of iterative refinement and the temporal filtering approach. The evaluation results on the KITTI dataset illustrate that our approach outperforms CNN-based state-of-the-art methods in terms of a mean absolute calibration error of 0.297cm in translation and 0.017° in rotation with miscalibration magnitudes of up to 1.5m and 20°.

研究の動機と目的

• マニュアルおよびマーカーを用いた LiDAR-カメラ自己校正の限界を解消すること。これは時間のかかる作業であり、実世界の展開に不適切である。
• 自律走行車両の走行中にセンサのドリフトが生じても高い精度を維持できるオンラインで自己自己校正可能な手法を開発すること。
• クロスセンサ特徴相関を明示的にモデル化することで、既存の学習ベース手法よりも精度と頑健性を向上させること。
• 動的で変化し続ける自律走行環境への展開に適した低遅延でリアルタイムの推論を可能にすること。

提案手法

• LCCNet は三段階のアーキテクチャを採用する：特徴抽出ネットワーク、RGB と深度特徴のマッチングに用いるコストボリューム層、および回帰に用いるグローバル特徴集約ネットワーク。
• コストボリューム層は、LiDAR ポイントクラウドから投影された深度特徴と RGB 画像特徴の相関関係を符号化し、構造的な特徴マッチングを可能にする。
• 絶対外挿しパラメータを直接回帰する代わりに、初期校正値から真値までの偏差を予測することで、学習の安定性を向上させる。
• マルチタスク損失を用いる：予測された外挿しパラメータにスムーズ L1 損失を適用し、幾何的一致性を向上させるために自己教師付きの点群距離損失を併用する。
• 推論段階で反復的リファインメントを適用し、予測されたパラメータを用いて点群を再投影し、複数反復にわたり推定値を改善する。
• 複数フレームにわたる時間的フィルタリングにより、校正誤差をさらに低減し、頑健性と精度を向上させる。

Figure 1: The proposed LCCNet takes the RGB and the projected depth image as inputs to predict the extrinsic parameters between the LiDAR and the camera. The point clouds are re-projected by the predicted extrinsic parameters. The re-projected depth image and the RGB image will be the subsequent inp

実験結果

リサーチクエスチョン

• RQ1 人工マーカーや手動セットアップに依存せずに、正確でエンドツーエンドの LiDAR-カメラ自己自己校正を実現できるディーブラーニングモデルは構築可能か？
• RQ2 RGB 画像と深度画像間のクロスセンサ特徴相関を効果的にモデル化することで、校正精度を向上させられるか？
• RQ3 反復的リファインメントとマルチフレーム解析により、リアルタイム応用において校正誤差を顕著に低減できるか？
• RQ4 自己教師付きの点群距離損失を組み込むことで、初期校正誤差やセンサドリフトに対する頑健性が向上するか？

主な発見

• LCCNet は KITTI-odometry データセットで、平均絶対並進誤差 0.297 cm（X: 0.262 cm、Y: 0.271 cm、Z: 0.357 cm）および平均絶対回転誤差 0.017°（ロール: 0.020°、ピッチ: 0.012°、ヨー: 0.019°）を達成した。
• ±1.5 m の並進誤差および ±20° の回転誤差という広範な誤校正範囲下でも、高い精度を維持し、先行する学習ベース手法を上回った。
• 1GPU で 1イテレーションあたり 24 ms の処理時間を達成し、オンライン展開に適したリアルタイム推論性能を示した。
• 5反復の反復的リファインメントとマルチフレーム時間的フィルタリングにより、校正誤差が顕著に低減され、初期パラメータのずれに対する頑健性が向上した。
• 自己教師付きの点群距離損失により一般化性能が向上し、初期校正誤差への感受性が低下したことが、異なる初期化条件下でも一貫した誤差分布から示された。
• 特に大規模な誤校正条件下において、Regnet や Calibnet などの最先端手法を精度と頑健性の両面で上回った。

Figure 2: The workflow of our proposed method for the estimation of the extrinsic calibration parameters between 3D LiDAR and 2D camera. The network takes an RGB image from a calibrated camera and a projected sparse depth image from a mis-calibrated LiDAR as input. The output of the network is a 6-D