[论文解读] An End-to-End Compression Framework Based on Convolutional Neural Networks

Feng Jiang, Tao Wen+4 more|arXiv (Cornell University)|Aug 2, 2017

Image and Signal Denoising Methods参考文献 6被引用 9

一句话总结

本文提出了一种端到端的深度学习图像压缩框架，将紧凑的卷积神经网络（ComCNN）与重建CNN（RecCNN）结合标准图像编解码器（如JPEG或JPEG2000）。通过学习一种紧凑且结构化的表征，并联合训练两个网络以实现非可微量化步骤的梯度传播，该方法在压缩性能上达到最先进水平，且推理速度优于后处理方法。

ABSTRACT

Deep learning, e.g., convolutional neural networks (CNNs), has achieved great success in image processing and computer vision especially in high level vision applications such as recognition and understanding. However, it is rarely used to solve low-level vision problems such as image compression studied in this paper. Here, we move forward a step and propose a novel compression framework based on CNNs. To achieve high-quality image compression at low bit rates, two CNNs are seamlessly integrated into an end-to-end compression framework. The first CNN, named compact convolutional neural network (ComCNN), learns an optimal compact representation from an input image, which preserves the structural information and is then encoded using an image codec (e.g., JPEG, JPEG2000 or BPG). The second CNN, named reconstruction convolutional neural network (RecCNN), is used to reconstruct the decoded image with high-quality in the decoding end. To make two CNNs effectively collaborate, we develop a unified end-to-end learning algorithm to simultaneously learn ComCNN and RecCNN, which facilitates the accurate reconstruction of the decoded image using RecCNN. Such a design also makes the proposed compression framework compatible with existing image coding standards. Experimental results validate that the proposed compression framework greatly outperforms several compression frameworks that use existing image coding standards with state-of-the-art deblocking or denoising post-processing methods.

研究动机与目标

• 解决传统图像编解码器（如JPEG和JPEG2000）在低比特率下引入块效应和噪声的局限性。
• 通过实现标准编解码器中非可微量化步骤的端到端训练，克服深度学习中量化不可微的问题。
• 在不依赖计算成本高昂的后处理滤波器的前提下，提升低比特率下的图像重建质量。
• 设计一种与现有图像编码标准兼容的框架，以实现实际部署。

提出的方法

• 该框架使用一个紧凑的CNN（ComCNN）来学习输入图像的压缩且信息保留的表征。
• 该紧凑表征随后通过标准图像编解码器（如JPEG、JPEG2000、BPG）进行编码，包括变换、量化和熵编码。
• 一个独立的重建CNN（RecCNN）解码压缩表征，并以高质量重建图像。
• 开发了一种统一的端到端学习算法，联合训练ComCNN与RecCNN，通过可微近似实现对非可微量化步骤的梯度传播。
• 该框架在紧凑表征中保留了结构信息，从而实现与标准编解码器结合的高效且高质量压缩。

实验结果

研究问题

• RQ1 能否设计一种将标准图像编解码器与CNN结合的深度学习框架，在图像压缩质量上超越传统编解码器和后处理方法？
• RQ2 当标准编解码器中的量化不可微时，如何实现端到端训练？
• RQ3 紧凑的CNN表征是否能保留足够的结构信息，以实现与标准编解码器结合的高质量重建？
• RQ4 所提出的框架是否在推理速度上优于现有的基于后处理的压缩方法？

主要发现

• 在四个数据集上，该框架在等效比特率下相较JPEG和JPEG2000平均PSNR提升5.22%。
• 在General-100数据集上，该方法在0.3 bpp时达到32.88 dB PSNR，相比JPEG2000（32.00 dB）提升0.88 dB。
• 对于256×256图像，该框架在CPU上耗时1.56秒，在GPU上仅需0.017秒，显著快于大多数后处理方法。
• RecCNN子网络（几乎承担全部运行时间）深度达20层，能够从压缩表征中实现高质量重建。
• 在Peppers图像上，该方法在2747 bpp时达到31.43 dB PSNR与0.8287 SSIM，优于JPEG2000在相同速率下的30.81 dB与0.8108 SSIM。