[論文レビュー] Calibrating LiDAR and Camera using Semantic Mutual information

Peng Jiang, Philip R. Osteen+1 more|arXiv (Cornell University)|Apr 24, 2021

Robotics and Sensor-Based Localization参考文献 32被引用数 4

ひとこと要約

本稿では、相互情報量ニューラル推定（MINE）と行列指数変換に基づく微分可能フレームワークを用いて、センサモダリティ間の意味的相互情報量を最大化することで、標的を必要とせず自動的にLiDAR-カメラの外挿的キャリブレーションを実行する手法を提案する。この手法は、KITTI360およびRELLIS-3Dベンチマークで最先端の精度を達成し、勾配降下を用いた完全に微分可能な意味的注意を払った最適化により、従来の学習ベースおよび最適化ベースの手法を上回っている。

ABSTRACT

We propose an algorithm for automatic, targetless, extrinsic calibration of a LiDAR and camera system using semantic information. We achieve this goal by maximizing mutual information (MI) of semantic information between sensors, leveraging a neural network to estimate semantic mutual information, and matrix exponential for calibration computation. Using kernel-based sampling to sample data from camera measurement based on LiDAR projected points, we formulate the problem as a novel differentiable objective function which supports the use of gradient-based optimization methods. We also introduce an initial calibration method using 2D MI-based image registration. Finally, we demonstrate the robustness of our method and quantitatively analyze the accuracy on a synthetic dataset and also evaluate our algorithm qualitatively on KITTI360 and RELLIS-3D benchmark datasets, showing improvement over recent comparable approaches.

研究の動機と目的

• 標的を必要とせず、正確な初期推定値が不要なLiDARとカメラシステムの外挿的キャリブレーション手法の開発を目的とする。
• エッジや勾配といった低レベル特徴に依存するのではなく、両センサからの意味的情報を活用することでキャリブレーション精度を向上させることを目的とする。
• 相互情報量を微分可能な目的関数として用いることで、エンドツーエンドの微分可能な最適化によるキャリブレーションプロセスの実現を目的とする。
• 合成データおよび実世界データセット（KITTI360およびRELLIS-3D）において、ラベルノイズやデータ量の変動にさらされても、そのロバスト性と精度を実証することを目的とする。
• ディープラーニングライブラリと互換性があるフレームワークを提供し、広範なセンサ統合パイプラインへの統合を可能とすることを目的とする。

提案手法

• 本手法は、LiDAR点群とカメラ画像からの意味的ラベル間の相互情報量（MI）を最適化目的関数として用い、従来の幾何的または強度ベースの指標に代わるものである。
• 意味的相互情報量は、MINE（相互情報量ニューラル推定器）を用いて推定され、勾配ベースの最適化に適した微分可能なMI推定が可能になる。
• カーネルベースのサンプリングモジュールが、LiDARに投影された点に対応する画像ピクセルをサンプリングし、空間的に投影された3次元点と2次元画像領域を一致させ、意味的比較を統合的に行う。
• 変換行列は、反対称行列の行列指数を用いてパrameter化され、最適化中にSO(3)およびSE(3)群の制約を適切に満たす。
• 初期キャリブレーションとして、投影されたLiDARラベルと画像ラベル間の2次元MIベースの画像登録を実行し、ロバストな初期化を提供する。
• パイプライン全体が微分可能であり、PyTorchや同様のディープラーニングフレームワークを用いて確率的勾配降下により最適化される。

実験結果

リサーチクエスチョン

• RQ1 意味的相互情報量は、標的を要しないLiDAR-カメラキャリブレーションのためのロバストで微分可能な目的関数として機能するか？
• RQ2 MINEと行列指数に基づく本手法の微分可能フレームワークは、非微分可能または非意味的特徴に依存する手法と比較して、キャリブレーション精度をどの程度向上させるか？
• RQ3 ラベルノイズやデータ量の変動が、意味的MIベースのキャリブレーションの性能にどの程度影響を与えるか？
• RQ4 本手法は、真値初期化がなくても、KITTI360やRELLIS-3Dといった実世界ベンチマークで競争力のあるキャリブレーション精度を達成できるか？
• RQ5 SOIC や PMI といった最先端手法と比較して、本手法はアライメント品質およびロバスト性において優れているか？

主な発見

• 合成データセットのCarlaでは、フレーム数が増加するにつれてキャリブレーション誤差の分散が減少し、より多くのデータでMI推定と収束安定性が向上することが示された。
• KITTI360では、ロールが73.98°、ピッチが-71.18°、ヨーが64.57°、並進が(0.02, -0.14, -1.36) mと推定され、提供されたデータセットパラメータと非常に近い値を達成した。
• RELLIS-3Dでは、ロールが70.24°、ピッチが67.63°、ヨーが-67.32°、並進が(-0.05, -0.19, -0.06) mと推定され、SOIC や PMI よりも高いアライメント品質を達成した。
• 20%のラベルノイズ条件下でも誤差分散が増加したが、依然として妥当な精度を維持しており、中程度の意味的ラベル誤りに対してロバストであることが示された。
• KITTI360およびRELLIS-3Dにおける可視化比較では、特に複雑な都市部のシナリオにおいて、SOIC や PMI と比較して本手法が優れたセンサ間アライメントを実現した。
• 両ベンチマークで最先端の性能を達成し、提供されたデータセットパラメータに最も近いキャリブレーション結果を出力した。これにより、本手法の有効性とロバスト性が裏付けられた。