[论文解读] Deep Residual Learning for Image Compression

Zhengxue Cheng, Heming Sun+2 more|arXiv (Cornell University)|Jun 24, 2019

Advanced Data Compression Techniques参考文献 12被引用 34

一句话总结

本文提出一种带子像素上采样的深度残差学习方法用于学习型图像压缩，在 CLIC 验证中达到 0.972 MS-SSIM，0.15 bpp，具有中等复杂度。

ABSTRACT

In this paper, we provide a detailed description on our approach designed for CVPR 2019 Workshop and Challenge on Learned Image Compression (CLIC). Our approach mainly consists of two proposals, i.e. deep residual learning for image compression and sub-pixel convolution as up-sampling operations. Experimental results have indicated that our approaches, Kattolab, Kattolabv2 and KattolabSSIM, achieve 0.972 in MS-SSIM at the rate constraint of 0.15bpp with moderate complexity during the validation phase.

研究动机与目标

• 阐明在学习型图像压缩中使用深度残差学习以提升编码效率。
• 研究更大卷积核大小对码率-失真性能的影响。
• 评估解码器的上采样策略（转置卷积与子像素）在重建质量和伪影方面的影响。
• 评估模型变体在码率控制和复杂度方面的表现，以便在 CLIC 2019 的实际验证中使用。

提出的方法

• 采用双自编码器架构，其中主自编码器优化码率-失真，辅助自编码器建模压缩信息的分布。
• 使用带有快捷连接的深度残差块，以较小的卷积核模拟较大的感受野。
• 探索较大卷积核尺寸以在保持参数效率的同时提升编码效率。
• 比较解码器上采样方法（转置卷积 vs. 子像素卷积），并发现子像素卷积在 PSNR/MS-SSIM 上表现更好。
• 采用宽瓶颈变体和码率控制策略进行训练，以实现 0.15 bpp 的约束，并实现自适应模型选择。

实验结果

研究问题

• RQ1 与基线架构相比，深度残差学习是否能改善学习型图像压缩的码率-失真性能？
• RQ2 卷积核大小对主自编码器和辅助自编码器的编码效率有何影响？
• RQ3 在低比特率下，哪种解码器上采样方法具有更好的重建质量和更少的伪影？
• RQ4 码率控制策略能否在不显著降低质量的前提下，达到严格的比特率目标？

主要发现

• 在 CLIC 验证中以 0.15 bpp 实现 0.972 MS-SSIM，复杂度中等。
• 具有 3x3 卷积核堆栈的深度残差网络（ResNet-3x3(4)）在 MS-SSIM 上优于 Baseline 和 HyperPrior 配置。
• 解码器使用子像素卷积在 PSNR 和 MS-SSIM 上相对于转置卷积带来适度提升。
• 主编码器中的大卷积核提升 RD 性能，而辅助自编码器中过大的卷积核可能降低性能。
• 宽瓶颈（增加最后一个编码器层的通道数）可以在不显著增加复杂度的前提下改善码率控制，但若未进行调优可能降低 MS-SSIM。