[论文解读] DSSLIC: Deep Semantic Segmentation-based Layered Image Compression

Mohammad Akbari, Jie Liang+1 more|arXiv (Cornell University)|Jun 8, 2018

Advanced Data Compression Techniques参考文献 22被引用 7

一句话总结

本文提出DSSLIC，一种基于深度学习的图像压缩框架，采用语义分割图作为基础层，并将紧凑的图像表示和残差作为增强层。通过利用语义感知重建和生成式优化，DSSLIC在不同比特率下均优于BPG、JPEG2000、WebP和JPEG，在PSNR和MS-SSIM性能上表现更优，同时支持语义感知应用，如基于对象的压缩和图像搜索。

ABSTRACT

Deep learning has revolutionized many computer vision fields in the last few years, including learning-based image compression. In this paper, we propose a deep semantic segmentation-based layered image compression (DSSLIC) framework in which the semantic segmentation map of the input image is obtained and encoded as the base layer of the bit-stream. A compact representation of the input image is also generated and encoded as the first enhancement layer. The segmentation map and the compact version of the image are then employed to obtain a coarse reconstruction of the image. The residual between the input and the coarse reconstruction is additionally encoded as another enhancement layer. Experimental results show that the proposed framework outperforms the H.265/HEVC-based BPG and other codecs in both PSNR and MS-SSIM metrics across a wide range of bit rates in RGB domain. Besides, since semantic segmentation map is included in the bit-stream, the proposed scheme can facilitate many other tasks such as image search and object-based adaptive image compression.

研究动机与目标

• 开发一种基于学习的图像压缩框架，整合语义分割以提升压缩效率和语义实用性。
• 通过利用深度学习提升率失真性能，解决传统编码器如JPEG、JPEG2000和WebP的局限性。
• 通过直接将语义分割图嵌入压缩比特流，实现基于对象的图像操作与检索。
• 探索利用语义图与残差学习在低比特率下实现高保真图像重建的可行性。
• 通过多层语义感知编码，提升压缩图像的感知质量和结构保真度。

提出的方法

• 输入图像首先通过深度神经网络处理，生成语义分割图，该图以无损方式编码为比特流的基础层。
• 通过专用网络（CompNet）提取输入图像的紧凑表示，并作为第一层增强层进行编码。
• 利用分割图和紧凑图像表示，通过优化网络（FineNet）生成粗略重建，以预测缺失的高频细节。
• 计算原始图像与粗略重建之间的残差，并将其编码为第二层增强层以提升保真度。
• 采用生成对抗网络（GAN），在训练过程中使用感知损失（VGG和DIS）以提升视觉自然性。
• 该框架采用分层比特流架构，包含三个组件：基础层（分割图）、第一层增强层（紧凑图像）和第二层增强层（残差）。

实验结果

研究问题

• RQ1 能否有效将深度语义分割图用作图像压缩中的基础层，以提升率失真性能？
• RQ2 与标准编码器相比，引入紧凑图像表示和残差编码在多大程度上提升了重建质量？
• RQ3 在比特流中包含语义信息在多大程度上增强了图像搜索和基于对象的压缩等下游任务？
• RQ4 感知损失（VGG和DIS）对所提框架中视觉质量和PSNR的影响如何？
• RQ5 在不同比特率下，DSSLIC框架与BPG、JPEG2000、WebP和JPEG等最先进编码器在PSNR和MS-SSIM方面的表现如何比较？

主要发现

• 在RGB（4:4:4）域中，DSSLIC在广泛比特率范围内均优于基于H.265/HEVC的BPG编码器，在PSNR和MS-SSIM上表现更优。
• 对于某些Kodak测试图像，DSSLIC在相近比特率下相较BPG实现了4.7 dB的PSNR提升。
• 在ADE20K数据集上，DSSLIC在0.18 bpp时达到30.87 dB的PSNR，在0.12 bpp时达到34.72 dB，显著优于BPG和WebP。
• 视觉对比显示，DSSLIC在复杂场景中生成的图像比BPG、WebP、JPEG2000和JPEG更清晰、更符合人类感知。
• 消融实验表明，使用分割图（withSeg）相比无分割图配置（noSeg），在纹理和边缘区域显著提升了PSNR和视觉质量。
• 引入感知损失（synth配置）可提升视觉质量，但会降低PSNR，表明感知质量与客观指标之间存在权衡。