[論文レビュー] A Multimodal, Full-Surround Vehicular Testbed for Naturalistic Studies and Benchmarking: Design, Calibration and Deployment

Akshay Rangesh, Kevan Yuen+4 more|arXiv (Cornell University)|Sep 21, 2017

Autonomous Vehicle Technology and Safety参考文献 9被引用数 19

ひとこと要約

本論文では、8台の高解像度RGBカメラ、6台のLIDAR、5台のレーダー、およびIMU/GPSシステムを備えた、完全に装備された全周囲型自動車テストベッド「LISA-A」を提示する。このテストベッドにより、自然的走行研究のための同期的でマルチモーダルなデータ収集が可能となり、自律走行のための融合ベースのアルゴリズムのベンチマークに使用できる。テストベッドは、すべてのモダリティにおいて高精度なセンサー補正と同期を実現し、多様な実世界データを100時間以上収集している。

ABSTRACT

Recent progress in autonomous and semi-autonomous driving has been made possible in part through an assortment of sensors that provide the intelligent agent with an enhanced perception of its surroundings. It has been clear for quite some while now that for intelligent vehicles to function effectively in all situations and conditions, a fusion of different sensor technologies is essential. Consequently, the availability of synchronized multi-sensory data streams are necessary to promote the development of fusion based algorithms for low, mid and high level semantic tasks. In this paper, we provide a comprehensive description of LISA-A: our heavily sensorized, full-surround testbed capable of providing high quality data from a slew of synchronized and calibrated sensors such as cameras, LIDARs, radars, and the IMU/GPS. The vehicle has recorded over 100 hours of real world data for a very diverse set of weather, traffic and daylight conditions. All captured data is accurately calibrated and synchronized using timestamps, and stored safely in high performance servers mounted inside the vehicle itself. Details on the testbed instrumentation, sensor layout, sensor outputs, calibration and synchronization are described in this paper.

研究の動機と目的

• 実世界の走行状況における自然的データ収集を可能にする包括的かつ高度に装備されたテストベッドの開発を目的とする。
• カメラ、LIDAR、レーダー、GPS/IMUを含む多様なセンサーモダリティからの同期的かつ補正済みのデータを提供することで、マルチセンサーフュージョン研究を可能にする。
• 延長された高精細なデータシーケンスを収集することで、長期的な行動分析、リスク推定、マニューバープランニングを支援する。
• 既存のデータセットに見られる制限を克服し、30 Hzで最小限の歪みと遮蔽を伴う全周囲パノラマ画像を提供する。
• ヨーロッパや非米国のデータセットとは異なる、米国特有の道路状況、交通パターン、インfra構造に適合したテストベッドを提供する。

提案手法

• Toyota Avalonに、8台のRGBカメラ（1600×1200解像度、30 Hz）、6台のLIDAR（ibeo LUX）、5台のレーダー（Delphi SRR2およびESR）、およびIMU/GPSユニットを搭載し、全周囲の認識を実現した。
• RJ45イーサネット接続を介して8台のカメラからのデータ取得と圧縮を管理するため、64ビットのUbuntu 14.04を搭載した2台の高性能サーバーを用いた。
• チェックパターン検出によるカメラ座標系でのチェックパターン検出、LIDAR点群の対応関係、および同一平面制約に基づく変換推定を含む、段階的な補正パイプラインを実装した。
• 平面の同一平面性制約を用いた最小二乗最適化を適用し、カメラとLIDARの座標系間の回転および平行移動を推定した。
• 非線形誤差最小化を用いて初期推定値を最適化し、センサー間の正確なアライメントを向上させた。
• オンボードの高性能サーバーに保存されたタイムスタンプ付きデータストリームを用いて、すべてのセンサー間で正確な時間同期を達成した。

実験結果

リサーチクエスチョン

• RQ1 実世界のテストベッドに、全周囲かつマルチモーダルなセンサーセットを効果的に統合する方法は何か？
• RQ2 高解像度カメラ、スパarsなLIDAR、その他のアクティブセンサー間の正確な空間的アライメントを保証する補正手法は何か？
• RQ3 多様なセンサーからの同期的で長時間にわたるデータストリームは、融合ベースの認識および計画アルゴリズムの開発をどの程度向上させるか？
• RQ4 高フレームレートのカメラと複数のLIDARを備えた米国ベースの全周囲テストベッドは、既存のデータセットと比較して、長期的な行動分析およびリスク分析をどの程度支援できるか？
• RQ5 安全な自律走行車システムの開発において、シミュレーションや短時間シーケンスデータセットと比較して、実世界のマルチセンサーテストベッドが提供する利点は何か？

主な発見

• LISA-Aテストベッドは、多様な天候、交通状況、日中・夜間の条件をカバーする100時間以上の実世界走行データを成功裏に収集した。
• 同一平面チェックパターン制約と非線形最適化を用いた補正手法により、カメラとLIDARの座標系間の正確なアライメントが達成された。
• LIDAR点群が効果的に全8枚のカメラビューに投影され、縦方向の解像度損失が最小限に抑えられ、水平面に豊富な詳細が得られた。
• 8台の分散配置カメラを用いた30 Hzの全周囲パノラマ画像提供により、単一マウントのパノラマシステムと比較して、オクルージョンと歪みが大幅に低減された。
• 行動監視、リスク推定、マニューバー解析に不可欠な長期的でマルチモーダルなデータシーケンスを提供する。短時間シーケンスデータセットでは困難なタスクを実現した。
• テストベッドは、直接的な実世界のマルチターゲット追跡と統合ベースの検出を可能にし、誤検出を低減するとともに、物体検出の範囲と正確性を向上させた。