[論文レビュー] EU Long-term Dataset with Multiple Sensors for Autonomous Driving

Zhi Yan, Li Sun+2 more|arXiv (Cornell University)|Sep 7, 2019

Robotics and Sensor-Based Localization参考文献 28被引用数 10

ひとこと要約

本論文では、フランスのUTBMでインストルメンテッドされた車両から収集された長期的でマルチセンサのデータセットを提示している。ROSを用いた同期化と処理により、複数のカメラ、ライダー、レーダー、IMU、GPS-RTKを含む11種類の異種センサを統合している。匿名化された画像を含む公開データセットは、季節的、日周的、動的変化を含む都市部・準都市部の変化をカバーしており、恒久的マッピングや生涯学習を含む長期的自律走行研究を支援する。

ABSTRACT

The field of autonomous driving has grown tremendously over the past few years, along with the rapid progress in sensor technology. One of the major purposes of using sensors is to provide environment perception for vehicle understanding, learning and reasoning, and ultimately interacting with the environment. In this paper, we first introduce a multisensor platform allowing vehicle to perceive its surroundings and locate itself in a more efficient and accurate way. The platform integrates eleven heterogeneous sensors including various cameras and lidars, a radar, an IMU (Inertial Measurement Unit), and a GPS-RTK (Global Positioning System / Real-Time Kinematic), while exploits a ROS (Robot Operating System) based software to process the sensory data. Then, we present a new dataset (https://epan-utbm.github.io/utbm_robocar_dataset/) for autonomous driving captured many new research challenges (e.g. highly dynamic environment), and especially for long-term autonomy (e.g. creating and maintaining maps), collected with our instrumented vehicle, publicly available to the community.

研究の動機と目的

• 自動運転研究における季節的・日周的・動的環境変化を捉えた長期的でマルチセンサのデータセットの不足を補う。
• KITTI（単一セッション、季節変化なし） やオックスフォード（3次元ライダーなし）といった既存データセットの制限を克服し、完全なセンサカバレッジを備えた包括的で長期的なデータセットを提供する。
• 現実世界の環境変動を捉えることで、恒久的マッピング、オンライン学習、長期予測を含む長期的自律走行研究を可能にする。
• 正確な局所化評価を可能にするために、完全にキャリブレーションされ、概ね同期化されたデータセットに、真値のGPS-RTKトラジェクトリを含む。
• EU GDPR準拠のため、顔およびナンバープレートをブラー処理するディープラーニングベースの匿名化により、データプライバシーを確保する。

提案手法

• 4台のカメラ、2台の3次元ライダー（Velodyne）、1台の2次元ライダー、1台のレーダー、1台のIMU、1台のGPS-RTK受信機を統合したマルチセンサプラットフォームを導入した。
• ROS（ロボットオペレーティングシステム）を用いて、データ取得、同期化（主にソフトウェアレベル、2台の3次元ライダーは衛星信号を用いたハードウェアレベル）、リアルタイム処理を管理した。
• 統一されたキャリブレーションフレームワークを用いて、すべてのセンサをキャリブレーションし、モダリティ間の空間的・時間的整合性を確保した。
• 都市部および準都市部の環境で長期間にわたりデータを記録し、季節的、照明条件、交通の動的変化を捉えた。
• 顔およびナンバープレートをブラー処理するディープラーニングベースの画像匿名化（パブリックリポジトリを活用）を実施し、GDPR準拠を確保した。
• ROS bag形式でデータセットを公開し、真値のトラジェクトリを含め、ライダーオドメトリおよび局所化手法のベンチマークが可能である。

実験結果

リサーチクエスチョン

• RQ1 多様な現実世界の走行環境において、頑健な長期的認識と局所化を実現するためのマルチセンサプラットフォームは、どのように設計できるか？
• RQ2 一貫したキャリブレーションと同期化を維持する長期的でマルチセンサのデータセットを収集・管理する上で、どのような主な課題が生じるか？
• RQ3 季節的および動的変化を含む長期的データセットは、自動運転における生涯学習およびオンライン学習手法の性能をどの程度向上できるか？
• RQ4 単一センサまたはステレオのみのシステムと比較して、複数のライダーとカメラを統合することで、認識のロバスト性がどのように向上し、見えない領域（ブラインドスポット）がどのように減少するか？
• RQ5 大規模な自動運転車両データセットの公開において、データプライバシー準拠（例：GDPR）の実務的影響は何か？

主な発見

• データセットは、都市部および準都市部の環境で190.9 kmの走行データを収集し、顔やナンバープレートをブラー処理した画像を含む、完全なセンサカバレッジを有する。
• プラットフォームは高いセンサ同期化を達成しており、2台の3次元ライダーは衛星信号を用いたハードウェアレベルで同期化され、他のセンサはソフトウェアレベルで同期化された。
• GPS-RTKからの真値トラジェクトリを含むため、局所化およびオドメトリアルゴリズムの正確な評価が可能である。
• ディープラーニングベースの匿名化により、すべてのカメラ画像の顔およびナンバープレートが効果的にぼかされ、EU GDPR準拠が確保された。
• 最新のライダーオドメトリ手法のベンチマークが可能であり、評価用のベースライン結果も提供されている。
• KITTI やオックスフォード、nuScenes といった既存データセットと比較して、本データセットは、長期的な時間的カバレッジに加え、豊富な異種センサデータとプライバシー保護を併せ持つ点で、独自性を有する。