[论文解读] Compressing Sensor Data for Remote Assistance of Autonomous Vehicles using Deep Generative Models

Daniel Bogdoll, Johannes Jestram+4 more|arXiv (Cornell University)|Nov 4, 2021

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出了一种基于深度生成模型的压缩流水线，用于自动驾驶汽车传感器数据，以实现高效的远程协助。采用变分自编码器（VAEs）实现实时图像与激光雷达（lidar）压缩，利用生成对抗网络（GANs）实现高质量重建。该系统在ROS集成的在线流水线中实现了压缩效率、重建保真度与低延迟之间的平衡，其中VAEs在推理速度方面表现更优，因此在实时远程协助中更具可行性。

ABSTRACT

In the foreseeable future, autonomous vehicles will require human assistance in situations they can not resolve on their own. In such scenarios, remote assistance from a human can provide the required input for the vehicle to continue its operation. Typical sensors used in autonomous vehicles include camera and lidar sensors. Due to the massive volume of sensor data that must be sent in real-time, highly efficient data compression is elementary to prevent an overload of network infrastructure. Sensor data compression using deep generative neural networks has been shown to outperform traditional compression approaches for both image and lidar data, regarding compression rate as well as reconstruction quality. However, there is a lack of research about the performance of generative-neural-network-based compression algorithms for remote assistance. In order to gain insights into the feasibility of deep generative models for usage in remote assistance, we evaluate state-of-the-art algorithms regarding their applicability and identify potential weaknesses. Further, we implement an online pipeline for processing sensor data and demonstrate its performance for remote assistance using the CARLA simulator.

研究动机与目标

• 解决在不使网络基础设施过载的前提下，实时传输自动驾驶汽车高容量传感器数据（摄像头与激光雷达）的挑战。
• 在远程协助背景下，评估最先进的深度生成模型（VAEs与GANs）与传统编码器在图像与激光雷达压缩方面的表现。
• 设计并实现一个统一的、在线的、基于ROS的压缩流水线，能够单次处理摄像头与激光雷达数据。
• 评估在远程协助使用场景下，压缩率、重建质量、感知能力（目标检测）与处理延迟之间的权衡。
• 识别实时部署中的实际约束与性能瓶颈，特别是基于GAN的模型。

提出的方法

• 在KITTI数据集与WAYMO Perception Open Dataset上对VAE与GAN基自编码器进行训练与评估，用于图像与激光雷达压缩。
• 在机器人操作系统（ROS）中实现端到端的在线压缩流水线，以实现实时处理与传输传感器数据。
• 采用共享编码器-解码器架构，对摄像头图像与激光雷达点云进行压缩，实现单次推理完成联合处理。
• 将原始激光雷达点云转换为张量格式，作为深度生成模型的输入，并通过自定义预处理减少计算开销。
• 测量并分析预处理、压缩与解压缩各阶段的延迟，以识别性能瓶颈。
• 使用PSNR、SSIM与LPIPS指标评估重建质量，并通过在重建图像上进行目标检测来评估感知能力。

实验结果

研究问题

• RQ1 在自动驾驶图像压缩中，VAEs与GANs相较于传统编码器（如JPEG、MPEG）在率失真性能与感知质量方面表现如何？
• RQ2 低比特率压缩（如0.2–0.3 bpp）对重建图像中目标检测性能有何影响，适用于远程协助？
• RQ3 生成模型在图像与激光雷达数据上的实时处理延迟是多少？哪些组件是主要性能瓶颈？
• RQ4 统一的深度生成模型流水线能否高效压缩摄像头与激光雷达数据，并实现最小延迟以支持远程协助？
• RQ5 激光雷达点云的预处理如何影响整体流水线延迟？优化的转换方法能否提升实时性能？

主要发现

• 基于GAN的图像压缩在低比特率（0.2–0.3 bpp）下实现了最佳重建质量，PSNR与SSIM指标表明保真度高，且维持了足够的目标检测准确率，适用于远程协助。
• 基于VAE的图像压缩在速度与质量之间实现了更优权衡，压缩延迟显著低于GAN（12.3 ms vs 54.7 ms），因此更适合实时远程协助。
• 使用VAE进行激光雷达压缩时，原始点云与重建点云之间的平均欧氏距离误差为0.3–0.5 m，表明存在明显的几何失真。
• 激光雷达数据预处理（转换为张量格式）是主要性能瓶颈，每帧耗时114.5 ms，远超压缩（10.4 ms）与解压缩（8.9 ms）时间。
• 尽管压缩率很高，GAN因推理延迟过高而不适合实时应用，因此被排除在实际远程协助系统之外。
• ROS集成的在线流水线成功实现了图像与激光雷达数据的端到端单次处理，验证了统一压缩架构的可行性。