[論文レビュー] Lidar and Camera Self-Calibration using CostVolume Network.

Xudong Lv, Boya Wang+2 more|arXiv (Cornell University)|Dec 27, 2020

Robotics and Sensor-Based Localization被引用数 5

ひとこと要約

本稿では、特徴マッチングを向上させるためにCostVolume Networkを用いた、LiDARとカメラセンサーのオンライン自己校正法を提案する。初期校正からのずれを予測することで、校正誤差を低減する。KITTIデータセットにおいて、並進方向で0.297 cm、回転方向で0.017°の平均絶対誤差を達成し、最大1.5 mおよび20°までの大きな誤校正に対しても、従来のCNNベースの手法を上回る性能を発揮する。

ABSTRACT

In this paper, we propose a novel online self-calibration approach for Light Detection and Ranging (LiDAR) and camera sensors. Compared to the previous CNN-based methods that concatenate the feature maps of the RGB image and decalibrated depth image, we exploit the cost volume inspired by the PWC-Net for feature matching. Besides the smooth L1-Loss of the predicted extrinsic calibration parameters, an additional point cloud loss is applied. Instead of regress the extrinsic parameters between LiDAR and camera directly, we predict the decalibrated deviation from initial calibration to the ground truth. During inference, the calibration error decreases further with the usage of iterative refinement and the temporal filtering approach. The evaluation results on the KITTI dataset illustrate that our approach outperforms CNN-based state-of-the-art methods in terms of a mean absolute calibration error of 0.297cm in translation and 0.017° in rotation with miscalibration magnitudes of up to 1.5m and 20°.

研究の動機と目的

• 自動運転システムにおけるLiDAR-カメラ外部パラメータの不正確な校正の課題に対処すること。
• 従来のCNNベースの手法が特徴の連結と校正パラメータの直接回帰に依存するという限界を克服すること。
• 並列な特徴マッチングと最適化戦略を導入することで、並進方向に最大1.5 m、回転方向に20°までの大きな誤校正に対しても耐性を高めること。
• 時間的フィルタリングと最適化を用いたオンラインで繰り返し行える自己校正を可能にし、推論中に校正誤差をさらに低減すること。

提案手法

• 従来のCNNベースの手法で用いられる特徴の連結に代わり、PWC-NetをインspiredしたCostVolume Networkを用いて、RGB画像とずれた深度画像間の特徴マッチングを強化する。
• 絶対的な外部パラメータを直接回帰する代わりに、初期校正からのずれを予測することで、学習の安定性と精度を向上させる。
• 予測された校正パラメータにsmooth L1損失を適用し、幾何的一致性を監督するために追加の点群損失を導入する。
• 推論時に繰り返し最適化と時間的フィルタリングを適用し、初期予測を超えて校正誤差を段階的に低減する。
• 幾何的および光度的監督を組み合わせてネットワークを学習させ、予測された変換を介してLiDAR点群と画像特徴を一致させる。

実験結果

リサーチクエスチョン

• RQ1 従来のCNNベースの連結手法と比較して、CostVolumeに基づく特徴マッチングアプローチはLiDAR-カメラ自己校正の精度を向上させることができるか？
• RQ2 初期推定からの校正ずれを予測することで、外部パラメータの直接回帰に比べ、収束性が向上し誤差が低減するか？
• RQ3 繰り返し最適化と時間的フィルタリングを組み合わせることで、リアルタイム推論における校正誤差はどの程度さらに低減可能か？
• RQ4 特に並進方向に最大1.5 m、回転方向に20°までの大きな初期誤校正に対しても、提案手法はどれほど耐性を示すか？

主な発見

• 提案手法はKITTIデータセットにおいて、並進方向に平均絶対誤差0.297 cm、回転方向に0.017°を達成し、最先端のCNNベースの手法を上回る性能を発揮した。
• 本手法は大きな誤校正に対しても耐性を示し、並進方向に最大1.5 m、回転方向に20°の誤差を正常に処理できた。
• 推論時に繰り返し最適化と時間的フィルタリングを統合することで、初期ネットワーク予測を超えて校正誤差がさらに低減した。
• 従来手法の特徴連結とは異なり、CostVolume Networkを用いた特徴マッチングにより、より正確な対応関係の学習が可能になった。
• 追加の点群損失により幾何的一致性が向上し、全体の校正性能が向上した。
• 推論時に真値の校正データを必要とせず、信頼性の高いオンライン自己校正が可能になった。