[论文解读] Learning a Single Tucker Decomposition Network for Lossy Image Compression with Multiple Bits-Per-Pixel Rates

Jianrui Cai, Zisheng Cao+1 more|arXiv (Cornell University)|Jul 10, 2018

Advanced Data Compression Techniques参考文献 45被引用 4

一句话总结

本文提出一种单一的深度神经网络 TDNet，通过使用Tucker分解实现在多个比特每像素（bpp）速率下的有损图像压缩。通过引入可微的Tucker分解层（TDL），将潜在特征分解为投影矩阵和低秩核心张量，模型可通过对核心张量的秩和量化进行动态调整，从而在单一训练网络下实现多个bpp设置下的最先进PSNR和MS-SSIM性能。

ABSTRACT

Lossy image compression (LIC), which aims to utilize inexact approximations to represent an image more compactly, is a classical problem in image processing. Recently, deep convolutional neural networks (CNNs) have achieved interesting results in LIC by learning an encoder-quantizer-decoder network from a large amount of data. However, existing CNN-based LIC methods usually can only train a network for a specific bits-per-pixel (bpp). Such a "one network per bpp" problem limits the generality and flexibility of CNNs to practical LIC applications. In this paper, we propose to learn a single CNN which can perform LIC at multiple bpp rates. A simple yet effective Tucker Decomposition Network (TDNet) is developed, where there is a novel tucker decomposition layer (TDL) to decompose a latent image representation into a set of projection matrices and a core tensor. By changing the rank of the core tensor and its quantization, we can easily adjust the bpp rate of latent image representation within a single CNN. Furthermore, an iterative non-uniform quantization scheme is presented to optimize the quantizer, and a coarse-to-fine training strategy is introduced to reconstruct the decompressed images. Extensive experiments demonstrate the state-of-the-art compression performance of TDNet in terms of both PSNR and MS-SSIM indices.

研究动机与目标

• 解决现有基于CNN的有损图像压缩（LIC）方法中'每比特率对应一个网络'的局限性。
• 使单一深度神经网络能够在无需微调的情况下支持多个比特每像素（bpp）速率。
• 通过非均匀量化建模空间变化的内容，提升量化效率。
• 通过粗到细的训练策略和端到端优化提升重建质量。
• 将Tucker分解集成到潜在空间中，利用低秩结构实现高效压缩。

提出的方法

• 提出一种新颖的Tucker分解层（TDL），将潜在特征图分解为核心张量和多个投影矩阵。
• 利用核心张量的秩及其量化级别作为可调参数，实现在单一网络内对bpp速率的控制。
• 设计一种迭代非均匀量化方案，基于系数分布优化量化器边界。
• 实施粗到细的训练策略以稳定训练并提升重建质量。
• 使用MSE或MS-SSIM损失端到端训练整个网络，以优化感知质量。
• 通过在推理过程中动态调整核心张量的秩和量化深度，实现多速率压缩。

实验结果

研究问题

• RQ1 能否训练单一深度神经网络，使其在多个比特每像素（bpp）速率下均实现有损图像压缩？
• RQ2 如何将Tucker分解集成到神经网络中，实现在无需微调情况下的动态速率控制？
• RQ3 通过根据潜在特征的统计分布自适应调整，非均匀量化能否提升压缩效率？
• RQ4 粗到细的训练策略是否能增强端到端LIC网络中的重建质量和训练稳定性？
• RQ5 单一网络能否在多个bpp速率下均实现最先进性能，同时保持高PSNR和MS-SSIM？

主要发现

• 在Kodak数据集上，使用MSE损失训练的TDNet在PSNR性能上优于JPEG、JPEG2000、BPG及其他基于深度学习的LIC方法。
• 在McMaster数据集上，TDNet在PSNR上显著优于BPG，尤其在低bpp速率下表现强劲。
• 使用MS-SSIM损失训练的TDNet实现了最先进的MS-SSIM结果，优于BPG、JPEG2000及大多数先前的基于深度学习的压缩器。
• 视觉对比显示，与JPEG、JPEG2000、BPG及其他深度学习方法相比，TDNet在纹理丰富的区域能生成更清晰的边缘和更少的伪影。
• 所提方法通过单一网络在广泛的bpp速率范围内实现了具有竞争力的性能，消除了为每种速率单独训练模型的需求。
• 迭代非均匀量化与粗到细训练策略共同提升了重建质量与训练稳定性。