[論文レビュー] CalibNet: Self-Supervised Extrinsic Calibration using 3D Spatial Transformer Networks.

Ganesh Iyer, Ranjith Ram+2 more|arXiv (Cornell University)|Mar 22, 2018

Robotics and Sensor-Based Localization参考文献 17被引用数 16

ひとこと要約

CalibNet は、キャリブレーションターゲットや直接的な教師信号を必要とせず、リアルタイムで3D LiDAR と2D カメラ間の6-DoF 外部キャリブレーションを自己教師付きの深層学習手法で推定する。幾何学的および光度的整合性を最適化することで学習し、再トレーニングなしに多様な不整合状態に対しても正確なキャリブレーションを達成する。

ABSTRACT

3D LiDARs and 2D cameras are increasingly being used alongside each other in sensor rigs for perception tasks. Before these sensors can be used to gather meaningful data, however, their extrinsics (and intrinsics) need to be accurately calibrated, as the performance of the sensor rig is extremely sensitive to these calibration parameters. A vast majority of existing calibration techniques require significant amounts of data and/or calibration targets and human effort, severely impacting their applicability in large-scale production systems. We address this gap with CalibNet: a self-supervised deep network capable of automatically estimating the 6-DoF rigid body transformation between a 3D LiDAR and a 2D camera in real-time. CalibNet alleviates the need for calibration targets, thereby resulting in significant savings in calibration efforts. During training, the network only takes as input a LiDAR point cloud, the corresponding monocular image, and the camera calibration matrix K. At train time, we do not impose direct supervision (i.e., we do not directly regress to the calibration parameters, for example). Instead, we train the network to predict calibration parameters that maximize the geometric and photometric consistency of the input images and point clouds. CalibNet learns to iteratively solve the underlying geometric problem and accurately predicts extrinsic calibration parameters for a wide range of mis-calibrations, without requiring retraining or domain adaptation. The project page is hosted at this https URL

研究の動機と目的

• キャリブレーションターゲットや人手による真値ラベルを排除したLiDARカメラ外部キャリブレーションの実現。
• 3D LiDAR と2D カメラ間の6-DoF 剛体変換を自己教師付きでリアルタイムに推定する。
• センサーラングの大規模な展開におけるキャリブレーション作業を削減するため、手動キャリブレーション手順を排除する。
• 再トレーニングやドメイン適応なしに、多様な不整合状態に一般化可能な手法の開発。
• 外部キャリブレーションパラメータの教師信号なしに、生の入力データ（LiDAR点群、単眼画像、カメラ内パラメータ行列 K）のみを用いてネットワークを学習する。

提案手法

• ネットワークは3次元空間変換器を用い、LiDAR点群を微分可能にカメラ画像と一致させる6-DoF 変換を予測する。
• 幾何学的整合性（投影された3次元点と画像特徴の一致）と光度的整合性（変換された点群の投影と入力画像の一致）を最大化する損失関数により学習を行う。
• 外部キャリブレーションラベルが一切不要な状態で、入力LiDAR点群、対応する画像、カメラ内パラメータ行列 K のみを用いてエンドツーエンドに訓練する。
• 勾配ベースの学習を可能にするために、バックプロパゲーションを用いた反復的最適化により予測変換を整合性損失に基づいて改善する。
• 空間変換器により、3次元点群を微分可能な方法で2次元画像空間に変換可能にし、勾配ベースの学習を実現する。
• 再投影誤差（幾何学的）と再構成誤差（光度的）の両方を組み合わせた損失関数を用い、ネットワークが正確なキャリブレーションへ誘導する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、真値ラベルやキャリブレーションターゲットが一切ない状態でもLiDARカメラ外部キャリブレーションを推定できるか？
• RQ2 再トレーニングやドメイン適応なしに、広範な初期不整合状態に一般化できるか？
• RQ3 幾何学的および光度的整合性に基づく自己教師学習が、正確で頑健なキャリブレーション結果をもたらすか？
• RQ4 大規模なセンサーシステムへの実装を想定したリアルタイム推論が可能か？
• RQ5 精度と効率の観点から、自己教師学習手法は従来の教師ありまたはターゲットベースのキャリブレーション手法に比べて優れているか？

主な発見

• CalibNet は、キャリブレーションターゲットや人手による真値データを一切必要とせず、正確な6-DoF 外部キャリブレーションを達成する。
• 再トレーニングやドメイン適応なしに、多様な初期不整合状態に一般化する。
• ネットワークは、LiDAR点群とカメラ画像間の幾何学的および光度的整合性を最大化するようにキャリブレーションパラメータを予測する。
• CalibNet はリアルタイム推論を実現し、生産環境における大規模なセンサーシステムへの展開に適している。
• 自己教師学習のアプローチにより、従来のターゲットベースや教師あり手法と比較してキャリブレーション作業を顕著に削減する。
• 初期キャリブレーション誤差に対して頑健であり、整合性に基づく最適化により、正確な解へ収束する。