[论文解读] GAN- vs. JPEG2000 Image Compression for Distributed Automotive Perception: Higher Peak SNR Does Not Mean Better Semantic Segmentation

Jonas Löhdefink, Andreas Bär+4 more|arXiv (Cornell University)|Feb 12, 2019

Image and Signal Denoising Methods被引用 11

一句话总结

该论文评估了在分布式自动驾驶感知系统中，基于生成对抗网络（GAN）的图像压缩技术与JPEG2000及标准编解码器的性能对比。结果表明，尽管峰值信噪比（PSNR）较低，基于GAN的压缩方法在语义分割的mIoU指标上仍表现出显著优势——在0.0625 bit/pixel的比特率下，mIoU绝对提升高达3.9%，尤其是在对分割模型进行GAN重建图像微调后，mIoU较在原始图像上训练的模型提升了16.6%。

ABSTRACT

The high amount of sensors required for autonomous driving poses enormous challenges on the capacity of automotive bus systems. There is a need to understand tradeoffs between bitrate and perception performance. In this paper, we compare the image compression standards JPEG, JPEG2000, and WebP to a modern encoder/decoder image compression approach based on generative adversarial networks (GANs). We evaluate both the pure compression performance using typical metrics such as peak signal-to-noise ratio (PSNR), structural similarity (SSIM) and others, but also the performance of a subsequent perception function, namely a semantic segmentation (characterized by the mean intersection over union (mIoU) measure). Not surprisingly, for all investigated compression methods, a higher bitrate means better results in all investigated quality metrics. Interestingly, however, we show that the semantic segmentation mIoU of the GAN autoencoder in the highly relevant low-bitrate regime (at 0.0625 bit/pixel) is better by 3.9% absolute than JPEG2000, although the latter still is considerably better in terms of PSNR (5.91 dB difference). This effect can greatly be enlarged by training the semantic segmentation model with images originating from the decoder, so that the mIoU using the segmentation model trained by GAN reconstructions exceeds the use of the model trained with original images by almost 20% absolute. We conclude that distributed perception in future autonomous driving will most probably not provide a solution to the automotive bus capacity bottleneck by using standard compression schemes such as JPEG2000, but requires modern coding approaches, with the GAN encoder/decoder method being a promising candidate.

研究动机与目标

• 评估在分布式感知系统中，图像压缩的比特率与感知性能之间的权衡关系。
• 在语义分割的背景下，对比传统编解码器（JPEG、JPEG2000、WebP）与基于GAN的自编码器在图像压缩中的表现。
• 探究PSNR和SSIM等失真度量是否能可靠预测下游感知性能。
• 评估在压缩重建图像上训练语义分割模型与在原始图像上训练的对比影响。
• 确定尽管在像素级重建质量较差，基于GAN的压缩方法是否能在真实感知任务中超越标准编解码器。

提出的方法

• 采用基于GAN的自编码器作为压缩框架，使用共享的编码器/解码器结构和潜在瓶颈表征。
• 生成器网络学习从压缩后的潜在码重建图像，判别器则被训练以区分真实图像与生成图像。
• 通过结合对抗性损失与感知重建损失进行模型训练，以保留语义结构。
• 在训练过程中集成量化操作，以模拟真实车载总线的约束条件，并确保端到端可微分性。
• 使用DeepLabv3进行语义分割，以mIoU作为感知性能的主要评估指标。
• 在原始图像以及JPEG2000和GAN压缩重建图像上对模型进行评估，并应用微调协议以评估其对压缩输入的鲁棒性。

实验结果

研究问题

• RQ1 在低比特率条件下，更高的PSNR是否总是意味着更好的语义分割性能？
• RQ2 在低比特率（如0.0625 bit/pixel）下，基于GAN的图像压缩与JPEG2000在语义分割mIoU上的表现如何比较？
• RQ3 在GAN重建图像上对语义分割模型进行微调，与在原始图像上训练相比，能将mIoU提升多少？
• RQ4 在评估自动驾驶系统压缩性能时，感知指标（如mIoU）是否能优于传统失真度量（PSNR、SSIM）？
• RQ5 在车载总线带宽受限的分布式感知系统中，基于GAN的压缩方法是否具有可行性？

主要发现

• 在0.0625 bit/pixel的比特率下，尽管JPEG2000的PSNR高出5.91 dB，基于GAN的压缩方法在mIoU上仍比JPEG2000高出3.9%的绝对值。
• 在GAN重建图像上对语义分割模型进行微调，可使mIoU绝对提升16.6%（从48.1%提升至64.7%），相比在原始图像上训练的模型。
• 在Cityscapes测试集上，当模型在GAN重建图像上训练时，mIoU达到50.4%，优于JPEG2000的46.0%。
• 即使不进行微调，当分割模型在原始图像上训练时，基于GAN的方法仍可达到59.69%的mIoU，而JPEG2000仅在微调其重建图像后才能达到65.0%的mIoU。
• 当模型在压缩数据上进行微调时，GAN与JPEG2000在mIoU上的性能差距显著扩大，表明GAN与感知流水线更具兼容性。
• 结果表明，传统失真度量（如PSNR）在低比特率下对感知性能的预测能力较差，因此面向感知的压缩技术对自动驾驶系统至关重要。