[論文レビュー] SemCal: Semantic LiDAR-Camera Calibration using Neural MutualInformation Estimator

Peng Jiang, Philip R. Osteen+1 more|arXiv (Cornell University)|Sep 21, 2021

Robotics and Sensor-Based Localization参考文献 37被引用数 6

ひとこと要約

本稿では、セマンティック情報とニューラル相互情報推定器（MINE）を用いて外部パラメータを最適化する、ターゲット不要で自動化されたLiDAR-カメラキャリブレーション手法であるSemCalを提案する。セマンティックラベル間の相互情報に基づく微分可能目的関数としてキャリブレーションを定式化し、行列指数変換とカーネルベースのサンプリングを用いることで勾配ベース最適化を可能にした。KITTI360やRELLIS-3Dといった実世界データセットにおいて、予測されたセマンティックラベルを用いても、サブ度の角度誤差およびサブメートルの並進誤差を達成した。

ABSTRACT

This paper proposes SemCal: an automatic, targetless, extrinsic calibration algorithm for a LiDAR and camera system using semantic information. We leverage a neural information estimator to estimate the mutual information (MI) of semantic information extracted from each sensor measurement, facilitating semantic-level data association. By using a matrix exponential formulation of the $se(3)$ transformation and a kernel-based sampling method to sample from camera measurement based on LiDAR projected points, we can formulate the LiDAR-Camera calibration problem as a novel differentiable objective function that supports gradient-based optimization methods. We also introduce a semantic-based initial calibration method using 2D MI-based image registration and Perspective-n-Point (PnP) solver. To evaluate performance, we demonstrate the robustness of our method and quantitatively analyze the accuracy using a synthetic dataset. We also evaluate our algorithm qualitatively on an urban dataset (KITTI360) and an off-road dataset (RELLIS-3D) benchmark datasets using both hand-annotated ground truth labels as well as labels predicted by the state-of-the-art deep learning models, showing improvement over recent comparable calibration approaches.

研究の動機と目的

• 物理的キャリブレーションターゲットや手動初期化に依存しない、ターゲット不要で自動化されたLiDARとカメラシステムの外部パラメータキャリブレーション手法の開発。
• 両センサからのセマンティック情報を活用することで、エッジや勾配といった低レベル特徴を超える高レベルなデータ関連付けを可能にし、キャリブレーションのロバスト性と精度を向上。
• セマンティックラベル間の相互情報に基づく完全に微分可能な目的関数を定式化し、勾配降下によるエンドツーエンド最適化を可能に。
• 2次元相互情報に基づく画像登録とPnPを用いたセマンティックベースの初期化手法を導入し、収束性を向上させ、初期推定値への依存性を低減。
• 合成データおよび実世界データセット（KITTI360、RELLIS-3D）を用いた性能評価を行い、真値ラベルと深層学習で予測されたセマンティックラベルの両方を用い、一般化性とロバスト性を実証。

提案手法

• LiDARとカメラの密なセマンティックラベル間の相互情報（MI）を、ニューラル相互情報推定器（MINE）を用いて推定し、元来のセンサ強度に基づくMI推定に代わる。
• se(3)の行列指数パrametrizationを用いて変換をモデル化することで、LiDAR-カメラキャリブレーション問題を微分可能な目的関数として定式化し、勾配計算を可能に。
• カーネルベースのサンプリングを用いてLiDAR点群をカメラ画像平面に投影し、対応する画像特徴をサンプリングすることで、クロスモodal特徴の整合性を実現。
• 2段階パイプラインを実装：まず2次元MIベースの画像登録とPnPを用いて初期キャリブレーション推定値を生成し、次にセマンティックMI目的関数の勾配ベース最適化により精緻化。
• HRNet+OCR や SalsaNext などの深層学習ベースのセマンティックセグメンテーションモデルを用いてセマンティックラベルを生成し、そのラベルをMI推定および最適化パイプラインの入力として利用。
• PyTorch などの標準的な勾配降下フレームワークを用いてキャリブレーションパラメータを最適化し、現代のディープラーニングライブラリとの統合を可能に。

実験結果

リサーチクエスチョン

• RQ1 LiDARとカメラのセマンティックラベル間の相互情報は、外部パラメータの微分可能で勾配ベースの最適化に有効に利用可能か？
• RQ2 実世界およびノイズの多いラベル環境下でも、強度ベースのMI手法やSOICなどの最先端手法と比較して、セマンティックベースのキャリブレーション手法の性能はどの程度向上するか？
• RQ3 本手法はキャリブレーションターゲットや手動初期化なしに、どの程度高精度なキャリブレーションを達成できるか。また、深層学習モデルによるラベルノイズに対してどれほどロバストか？
• RQ4 従来の特徴ベースや強度ベースの手法と比較して、セマンティックレベルのデータ関連付けは、キャリブレーション精度と収束安定性を向上させるか？
• RQ5 真値アノテーションではなく、最先端モデルから予測されたセマンティックラベルを用いても、本手法は高い精度を維持できるか？

主な発見

• KITTI360データセットで真値ラベルを用いた場合、SemCalはロール誤差0.14°、ピッチ0.17°、ヨー0.13°、並進誤差は0.15メートル以内を達成し、高い精度を示した。
• RELLIS-3Dデータセットで真値ラベルを用いた場合、SemCalはロール誤差0.56°、ピッチ0.15°、ヨー0.74°、並進誤差は0.13メートル以内を達成し、非舗装路環境でも優れた性能を示した。
• 深層学習モデル（HRNet+OCR および SalsaNext）で予測されたセマンティックラベルを用いた場合、SemCalは低誤差を維持した：角度誤差は1°以内、並進誤差は0.4メートル以内、ラベルノイズに対するロバスト性を示した。
• ベースライン手法と比較して、SemCalはKITTI360およびRELLIS-3Dの両方でSOICおよびPMIバージョン（Pandeyの手法にMINEを適用）を上回り、真値パラメータに近い結果を達成した。
• 視覚的結果から、SemCalはSOICやPMIよりも優れたクロスセンサデータ統合を実現した。PMIは空と芝生の強度の混同により、顕著なz軸ずれを示した。
• キャリブレーションは30秒の初期化後、156秒で収束したため、リアルタイムではないものの、オンラインバックグラウンドキャリブレーションに適した性能を示した。