[論文レビュー] Automatic generation of ground truth for the evaluation of obstacle detection and tracking techniques

Hatem Hajri, Emmanuel Doucet+4 more|arXiv (Cornell University)|Jul 16, 2018

Autonomous Vehicle Technology and Safety参考文献 8被引用数 3

ひとこと要約

本稿では、自動運転における障害物検出および追跡のための高精度な真値キネマティクスデータを、アノテーションを一切用いずに自動生成する新規手法を提示する。RTK-GNSSおよびIMUを搭載した自車両車両を活用し、自車両のフレームにおける相対的位置、速度、ヨー角を計算することで、位置の平均二乗誤差が ≤0.12 m、速度の平均二乗誤差が ≤0.30 m/s に達する。

ABSTRACT

As automated vehicles are getting closer to becoming a reality, it will become mandatory to be able to characterise the performance of their obstacle detection systems. This validation process requires large amounts of ground-truth data, which is currently generated by manually annotation. In this paper, we propose a novel methodology to generate ground-truth kinematics datasets for specific objects in real-world scenes. Our procedure requires no annotation whatsoever, human intervention being limited to sensors calibration. We present the recording platform which was exploited to acquire the reference data and a detailed and thorough analytical study of the propagation of errors in our procedure. This allows us to provide detailed precision metrics for each and every data item in our datasets. Finally some visualisations of the acquired data are given.

研究の動機と目的

• 障害物検出および追跡の評価における手動アノテーションを排除した真値生成の実現。
• 実際の車両プラットフォームを用いて、スケーラブルで自動化された高精度キネマティクスデータ生成手法の開発。
• 真値生成プロセスにおける誤差伝搬を定量化および上限付与し、信頼性を確保すること。
• LiDARクラスタリングやセンサーフュージョンなどの周辺認識アルゴリズムの評価とベンチマーク化を支援すること。
• より優れた追跡性能を実現するため、実世界データから正確な動的運動モデルを学習可能にする。

提案手法

• 自車両に認識センサ（LiDAR、カメラ、RADAR）を搭載し、ターゲット車両に高精度位置決めのみを備えた2台以上の車両を用いる。
• RTK-GNSSと高精度IMUを用い、カルマンフィルタによる融合でセンチメートルレベルの位置決めを実現し、車両状態とバイアスを推定する。
• 分散型車両間での堅牢な時間同期手法を適用し、ミリ秒レベルの時 clocks 同期を確保する。
• 相対運動式を用いて、自車両フレーム内でのターゲット車両の相対キネマティクス（位置、速度、ヨー）を計算する。
• 誤差伝搬モデルを用いて、位置および速度の共分散行列の解析的上限を導出する。
• 正確なエフェメリスデータと平滑化処理を適用し、位置決め精度をさらに向上させる後処理を実施する。

実験結果

リサーチクエスチョン

• RQ1 障害物検出および追跡の真値を、手動アノテーションや人為的ラベルなしで生成可能か？
• RQ2 複数台の車両におけるRTK-GNSSとIMUシステムを用いた自動真値生成で、達成可能な最大精度はどの程度か？
• RQ3 位置決め誤差および時刻同期誤差が、生成された真値データの精度にどのように伝搬するか？
• RQ4 この手法が、LiDARクラスタリングやセンサーフュージョン（LiDAR-Radar-Camera）などの認識アルゴリズムの評価および改善にどの程度寄与できるか？
• RQ5 生成された真値データにより、標準的な事前定義モデルよりも正確な動的運動モデルの学習が可能になるか？

主な発見

• 生成された真値データにおいて、位置の平均二乗誤差が ≤0.12 m、速度の平均二乗誤差が ≤0.30 m/s に達する。
• 極端な相対距離（50 m）、速度（36 m/s）、ヨー速度（1 rad/s）を用いた誤差伝搬モデルに基づき、解析的誤差上限を導出。保守的な推定が保証される。
• GNSS断続60秒の条件下でも、水平方向位置誤差は0.10 m、高度方向誤差は0.07 mにとどまり、高い耐障害性を示す。
• 手動アノテーションを一切不要とし、センサーキャリブレーションとデータ統合に依存する真値の自動生成が可能である。
• 真値データはLiDARクラスタリング、センサーフュージョン（LiDAR-Radar-Camera）、および動的モデル学習の評価を支援する。
• 本手法は、自動運転の認識システムに向けたスケーラブルで再現可能かつ高精度なベンチマークフレームワークを提供する。