[論文レビュー] SensorX2car: Sensors-to-car calibration for autonomous driving in road scenarios

Guohang Yan, Zhaotong Luo+2 more|arXiv (Cornell University)|Jan 18, 2023

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

SensorX2car は、自律走行車両におけるオンラインで標的を必要としないセンサーから車両フレームへのキャリブレーションのための最初のオープンソースツールボックスを提供する。カメラ、LiDARD、GNSS/INS、ミリ波レーダーの各センサーを、画像特徴、3次元点、ポーズ解、レーダー速度といったセンサー固有のパターンを用いて車両ボディフレームに正確にキャリブレート可能であり、通常の走行開始後数分で1度未塔の精度を達成する。

ABSTRACT

Properly-calibrated sensors are the prerequisite for a dependable autonomous driving system. However, most prior methods focus on extrinsic calibration between sensors, and few focus on the misalignment between the sensors and the vehicle coordinate system. Existing targetless approaches rely on specific prior knowledge, such as driving routes and road features, to handle this misalignment. This work removes these limitations and proposes more general calibration methods for four commonly used sensors: Camera, LiDAR, GNSS/INS, and millimeter-wave Radar. By utilizing sensor-specific patterns: image feature, 3D LiDAR points, GNSS/INS solved pose, and radar speed, we design four corresponding methods to mainly calibrate the rotation from sensor to car during normal driving within minutes, composing a toolbox named SensorX2car. Real-world and simulated experiments demonstrate the practicality of our proposed methods. Meanwhile, the related codes have been open-sourced to benefit the community. To the best of our knowledge, SensorX2car is the first open-source sensor-to-car calibration toolbox. The code is available at https://github.com/OpenCalib/SensorX2car.

研究の動機と目的

• 実世界の走行シナリオにおいて、センサーから車両への外挿パラメータ、特に回転に関する一般化されたオンラインキャリブレーション手法の不足に対処すること。
• 特定の道路の特徴、レーンマーキング、または制御された環境に依存する従来の手法の限界を克服すること。
• 特別なマーカーや施設を必要とせず、多様な走行ルートで動作する実用的でアクセス可能なキャリブレーションソリューションを開発すること。
• 通常の走行中に収集されたデータのみを用いて、カメラ、LiDAR、GNSS/INS、レーダーの4つの主要センサーの信頼性の高い繰り返し可能なキャリブレーションを可能にすること。
• コミュニティの採用と自律走行車両のセンサーキャリブレーション分野におけるさらなる研究を支援するオープンソースツールボックスを提供すること。

提案手法

• カメラキャリブレーションのため、単一画像から消失点と水平線を予測する深層学習ネットワークを用い、それらを車両フレームに対するロール、ピッチ、ヨー角に変換する。
• LiDARのため、SLAMを用いて6自由度ポーズを推定し、車両前方方向とLiDAR前方方向のヨー差を平均することで回転をキャリブレートする。ピッチとロールは、地面平面抽出により導出する。
• GNSS/INSのため、統合された6自由度ポーズを用い、車両軌道が進行方向と一致すると仮定して、車両に対するヨー角を推定する。
• レーダーのため、測定対象物の速度と車両速度の関係にコサイン曲線をフィッティングすることでヨーをキャリブレートし、位置情報の組み込みによりノイズを低減することで耐性を向上させる。
• 時間経過に伴いデータを蓄積し、外れ値をフィルタリングすることで一貫性を向上させ、特に曲がりのダイナミクスに影響を受けるロールおよびピッチ角に有効である。
• 軌道に基づく仮定を適用して、車両から世界への姿勢を推定し、センサーから世界への回転をセンサーから車両への回転に変換可能にする。

実験結果

リサーチクエスチョン

• RQ1 レーンマーキングや人工マーカーのような特定の道路の特徴に依存せずに、センサーから車両へのキャリブレーションを達成できるか？
• RQ2 カメラ、LiDAR、GNSS/INS、レーダーのためのオンラインキャリブレーション手法を、インラインセンサーのパターンと通常の走行データのみを用いて設計できるか？
• RQ3 センサー固有の信号特性を活用して、実世界の走行データから回転パラメータ（ヨー、ピッチ、ロール）をどれほど正確に推定できるか？
• RQ4 多様な走行状況やルートにおいて、キャリブレーション結果の整合性と耐性はどの程度か？
• RQ5 複数のセンサータイプをカバーする統合的でオープンソースのツールボックスを、実世界の自律走行車両システムにおけるセンサーから車両へのキャリブレーションを支援するために構築できるか？

主な発見

• カメラキャリブレーション手法は、KITTIベースのデータセットでトレーニングされた深層学習モデルを用いて、ロール、ピッチ、ヨーの推定において1度未塔の精度を達成した。ヨーとピッチの標準偏差は0.1°、ロールは0.5°であった。
• LiDARキャリブレーションでは、全走行セグメントでヨーとピッチの標準偏差が約0.1°であり、直線走行セグメントでは0.1°に低下した。ロールの標準偏差は0.5°で、曲がりによる車両の傾きが要因であった。
• GNSS/INSキャリブレーションでは、シーケンス全体でヨーの変動範囲が約0.1°から0.2°であり、車両とIMUのヨー角に一貫したトレンドが一致した。
• シミュレーションデータを用いたレーダーキャリブレーションでは、絶対誤差が0.1°未塔であった。実世界データでは、位置情報の組み込みによりノイズが低減し、直線走行セグメントで0.3–0.4°の変動範囲に改善された。
• 4つのデータ期間における全体のキャリブレーションの一貫性は、標準偏差と分布解析により検証され、耐性と信頼性が確認された。
• https://github.com/OpenCalib/SensorX2car で公開されているオープンソースツールボックス SensorX2car は、ルートや特徴の制約なしに、多様な走行シナリオにおける実用的で汎用的なキャリブレーションを可能にしている。