[论文解读] A Multimodal, Full-Surround Vehicular Testbed for Naturalistic Studies and Benchmarking: Design, Calibration and Deployment

Akshay Rangesh, Kevan Yuen+4 more|arXiv (Cornell University)|Sep 21, 2017

Autonomous Vehicle Technology and Safety参考文献 9被引用 19

一句话总结

本论文提出 LISA-A，这是一种全装备、全周向的车辆测试平台，配备8台高分辨率RGB摄像头、6台LIDAR、5部雷达以及IMU/GPS系统，可实现同步、多模态的数据采集，适用于自然驾驶行为研究。该测试平台支持所有传感器模态的高保真校准与同步，提供了超过100小时的多样化真实世界数据，可用于自动驾驶中基于融合算法的基准测试。

ABSTRACT

Recent progress in autonomous and semi-autonomous driving has been made possible in part through an assortment of sensors that provide the intelligent agent with an enhanced perception of its surroundings. It has been clear for quite some while now that for intelligent vehicles to function effectively in all situations and conditions, a fusion of different sensor technologies is essential. Consequently, the availability of synchronized multi-sensory data streams are necessary to promote the development of fusion based algorithms for low, mid and high level semantic tasks. In this paper, we provide a comprehensive description of LISA-A: our heavily sensorized, full-surround testbed capable of providing high quality data from a slew of synchronized and calibrated sensors such as cameras, LIDARs, radars, and the IMU/GPS. The vehicle has recorded over 100 hours of real world data for a very diverse set of weather, traffic and daylight conditions. All captured data is accurately calibrated and synchronized using timestamps, and stored safely in high performance servers mounted inside the vehicle itself. Details on the testbed instrumentation, sensor layout, sensor outputs, calibration and synchronization are described in this paper.

研究动机与目标

• 开发一个全面、高度仪器化的测试平台，用于在真实道路驾驶条件下进行自然驾驶数据采集。
• 通过提供来自摄像头、LIDARD、雷达以及GPS/IMU等多样化传感器模态的同步、校准数据，支持多传感器融合研究。
• 通过捕捉长时间、高保真的数据序列，支持长期行为分析、风险估计与驾驶操作规划。
• 通过提供30 Hz帧率、低失真与遮挡的全周向全景成像，解决现有数据集的局限性。
• 提供专为美国道路条件、交通模式与基础设施设计的美国本土化测试平台，与欧洲或非美国数据集形成鲜明区分。

提出的方法

• 在丰田Avalon车型上安装8台RGB摄像头（1600×1200分辨率，30 Hz）、6台LIDAR（ibeo LUX）、5部雷达（Delphi SRR2与ESR）以及IMU/GPS单元，实现全周向感知。
• 使用两台高性能服务器（64位Ubuntu 14.04）通过RJ45以太网连接管理8台摄像头的数据采集与压缩。
• 实施多阶段校准流程：在摄像头坐标系中检测标定板，建立LIDAR点云对应关系，并基于共面约束估计变换。
• 采用最小二乘优化方法，结合平面共面性约束，估计摄像头与LIDAR坐标系之间的旋转与平移。
• 通过非线性误差最小化优化初始估计值，以精炼传感器间的对齐精度。
• 通过时间戳数据流并存储于机载高性能服务器中，实现所有传感器的精确时间同步。

实验结果

研究问题

• RQ1 如何将全周向、多模态传感器套件有效集成到真实世界测试平台中，以支持自然驾驶行为研究？
• RQ2 何种校准方法可确保高分辨率摄像头、稀疏LIDAR与其它主动传感器之间精确的空间对齐？
• RQ3 来自多样化传感器的同步、长时间数据流在多大程度上可提升基于融合的感知与规划算法的开发？
• RQ4 相较于现有数据集，基于美国的全周向测试平台（配备高帧率摄像头与多台LIDAR）在支持长期行为分析与风险评估方面有何优势？
• RQ5 相较于仿真或短序列数据集，真实世界多感官测试平台在开发安全自动驾驶系统方面具有哪些优势？

主要发现

• LISA-A测试平台成功采集了超过100小时的真实世界驾驶数据，涵盖多种天气、交通与光照条件。
• 所采用的校准方法通过共面标定板约束与非线性优化，实现了摄像头与LIDAR坐标系之间的精确对齐。
• LIDAR点云被有效投影到全部8个摄像头视图中，展示了丰富的水平面细节，且垂直分辨率损失极小。
• 该测试平台通过8台分布式摄像头实现了30 Hz帧率的全周向全景成像，相比单台安装的全景系统，遮挡与失真更少。
• 该系统支持长期、多模态数据序列，对行为监测、风险估计与操作分析至关重要，而这些任务在短序列数据集中常受限制。
• 该测试平台支持直接的真实世界多目标跟踪与基于融合的检测，可减少误报，并提升目标检测的距离与精度。