[论文解读] BlockCNN: A Deep Network for Artifact Removal and Image Compression

Danial Maleki, Soheila Nadalian+2 more|arXiv (Cornell University)|May 1, 2018

Advanced Image Processing Techniques被引用 13

一句话总结

BlockCNN 提出了一种统一的深度学习框架，通过利用具有不同训练权重的共享网络架构，同时实现 JPEG 颗粒状伪影去除和图像压缩。它按顺序处理 8×8 的图像块，基于先前的块预测强度并存储残差，同时重用传统的 JPEG 例程，在两项任务中均实现了优异的性能，且具有高速度和简单性。

ABSTRACT

We present a general technique that performs both artifact removal and image compression. For artifact removal, we input a JPEG image and try to remove its compression artifacts. For compression, we input an image and process its 8 by 8 blocks in a sequence. For each block, we first try to predict its intensities based on previous blocks; then, we store a residual with respect to the input image. Our technique reuses JPEG's legacy compression and decompression routines. Both our artifact removal and our image compression techniques use the same deep network, but with different training weights. Our technique is simple and fast and it significantly improves the performance of artifact removal and image compression.

研究动机与目标

• 开发一种统一的深度学习框架，以同时解决 JPEG 颗粒状伪影去除和图像压缩问题。
• 通过重用现有的 JPEG 压缩和解压缩例程，降低计算复杂度并提高处理速度。
• 利用单一共享网络架构与任务特定的训练权重，实现出色的图像重建质量与高效的压缩性能。
• 探索在图像处理中对基于块的预测与残差编码进行端到端学习的可行性。

提出的方法

• 该方法按顺序以 8×8 块处理图像，使用深度神经网络基于先前处理的块预测块的强度。
• 对于每个块，网络计算预测强度与实际强度之间的残差，然后对残差进行编码并存储。
• 相同的深度网络用于伪影去除和压缩，但使用针对不同任务的特定训练权重。
• 重用传统的 JPEG 量化和反量化步骤，以保持向后兼容性并提高效率。
• 网络在端到端设置下进行训练，以最小化在伪影去除和压缩场景下的重建误差。

实验结果

研究问题

• RQ1 一个单一的深度神经网络能否有效同时执行伪影去除和图像压缩？
• RQ2 基于先前块的逐块预测在多大程度上提升了压缩效率和重建质量？
• RQ3 在现代深度学习框架中，传统 JPEG 例程能在多大程度上被重用？
• RQ4 对伪影去除与压缩进行联合优化，是否能优于独立的处理方法？

主要发现

• BlockCNN 通过利用先前处理块的上下文信息，在 JPEG 颗粒状伪影去除方面实现了显著的性能提升。
• 该方法降低了图像重建中的残差误差，从而提高了视觉质量并降低了失真。
• 通过重用 JPEG 的压缩处理流程，该方法保持了向后兼容性，并减少了计算开销。
• 采用任务特定权重的统一网络在性能上优于为伪影去除和压缩分别训练的独立模型。