[论文解读] A New Image Codec Paradigm for Human and Machine Uses

Sien Chen, Jian Jin+6 more|arXiv (Cornell University)|Dec 19, 2021

Image Processing Techniques and Applications被引用 5

一句话总结

本文提出了一种新颖的图像编解码范式，通过联合优化人类视觉与机器视觉，利用无损压缩编码16位灰度实例分割图和低层次信号特征，同时使用学习到的图像预测器重建通用质量图像，并采用有损编解码器进行残差压缩。与传统及基于学习的编解码器相比，该方法在图像重建（PSNR 和 MS-SSIM）以及机器视觉任务（mAP）方面均表现出更优性能。

ABSTRACT

With the AI of Things (AIoT) development, a huge amount of visual data, e.g., images and videos, are produced in our daily work and life. These visual data are not only used for human viewing or understanding but also for machine analysis or decision-making, e.g., intelligent surveillance, automated vehicles, and many other smart city applications. To this end, a new image codec paradigm for both human and machine uses is proposed in this work. Firstly, the high-level instance segmentation map and the low-level signal features are extracted with neural networks. Then, the instance segmentation map is further represented as a profile with the proposed 16-bit gray-scale representation. After that, both 16-bit gray-scale profile and signal features are encoded with a lossless codec. Meanwhile, an image predictor is designed and trained to achieve the general-quality image reconstruction with the 16-bit gray-scale profile and signal features. Finally, the residual map between the original image and the predicted one is compressed with a lossy codec, used for high-quality image reconstruction. With such designs, on the one hand, we can achieve scalable image compression to meet the requirements of different human consumption; on the other hand, we can directly achieve several machine vision tasks at the decoder side with the decoded 16-bit gray-scale profile, e.g., object classification, detection, and segmentation. Experimental results show that the proposed codec achieves comparable results as most learning-based codecs and outperforms the traditional codecs (e.g., BPG and JPEG2000) in terms of PSNR and MS-SSIM for image reconstruction. At the same time, it outperforms the existing codecs in terms of the mAP for object detection and segmentation.

研究动机与目标

• 应对AIoT与智慧城市建设环境中对同时服务于人类视觉感知与机器视觉任务的图像编解码器日益增长的需求。
• 克服仅针对人类观看优化的传统编解码器以及对人类不可读的基于描述符的编解码器的局限性。
• 实现可扩展的图像压缩：部分比特流支持机器视觉任务，而完整解码支持高质量人类视觉。
• 提升图像重建与下游机器视觉任务（如目标检测与分割）的压缩效率。
• 设计统一框架，利用高层语义信息（实例分割）实现双重用途，同时不牺牲感知质量或任务准确性。

提出的方法

• 使用深度神经网络提取高层实例分割图与低层次信号特征。
• 将实例分割图表示为紧凑的16位灰度轮廓，以减少冗余，同时保留语义内容。
• 使用无损编解码器（FLIF）压缩16位轮廓与信号特征，以实现鲁棒的传输与解码。
• 利用16位轮廓与信号特征训练深度图像预测器，生成通用质量的图像重建。
• 使用有损编解码器（VVC）编码原始图像与预测图像之间的残差，以实现高保真度重建。
• 支持可扩展解码：部分比特流支持机器视觉任务，而完整比特流支持高质量人类视觉。

实验结果

研究问题

• RQ1 统一的图像编解码框架是否能够同时支持高质量的人类图像重建与高精度的机器视觉任务？
• RQ2 与原始或压缩的特征表示相比，将实例分割表示为16位灰度轮廓对压缩效率与任务性能有何影响？
• RQ3 通过16位轮廓引入高层语义信息在多大程度上提升了图像重建质量与下游机器视觉任务的准确性？
• RQ4 与传统编解码器（如BPG、JPEG2000）及基于学习的编解码器相比，所提出的预测编码框架在PSNR、MS-SSIM与mAP方面的表现如何？
• RQ5 哪种归一化技术（通道归一化、批量归一化、实例归一化）最能提升所提出图像预测器与重建流程的压缩效率？

主要发现

• 所提出的编解码器在PSNR与MS-SSIM方面达到与最先进基于学习的编解码器相当的性能，并在图像重建质量上优于传统编解码器（如BPG与JPEG2000）。
• 与现有编解码器相比，该方法显著提升了目标检测与实例分割的mAP，证明其在机器视觉任务中表现更优。
• 在学习编码器与图像预测器模块中使用通道归一化可获得最佳压缩效率，其PSNR与MS-SSIM表现优于批量归一化与实例归一化。
• 消融研究证实，16位实例分割轮廓显著提升了图像重建质量（PSNR与MS-SSIM）与机器视觉任务准确性（mAP）。
• 比特流结构支持可扩展解码：部分比特流（stream1与stream2）支持机器视觉任务，而完整比特流（stream3）支持高保真度人类视觉。
• 通过VVC在不同QP值下进行残差压缩的结果表明，较低QP值可实现更高保真度的重建，证实了基于残差优化的有效性。