[论文解读] Generalized Octave Convolutions for Learned Multi-Frequency Image Compression

Mohammad Akbari, Jie Liang+2 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Data Compression Techniques参考文献 30被引用 21

一句话总结

本论文提出广义八度卷积（GoConv/GoTConv），通过将潜在表征分解为高频与低频分量，实现可学习的多频带图像压缩，其中低频分量以降低的分辨率存储，以减少空间冗余。该方法在Kodak数据集上实现了最先进（SOTA）的率失真性能，且在PSNR和MS-SSIM上均优于VVC（4:2:0），同时在语义分割和图像去噪任务中也表现出更优性能。

ABSTRACT

Learned image compression has recently shown the potential to outperform the standard codecs. State-of-the-art rate-distortion (R-D) performance has been achieved by context-adaptive entropy coding approaches in which hyperprior and autoregressive models are jointly utilized to effectively capture the spatial dependencies in the latent representations. However, the latents are feature maps of the same spatial resolution in previous works, which contain some redundancies that affect the R-D performance. In this paper, we propose the first learned multi-frequency image compression and entropy coding approach that is based on the recently developed octave convolutions to factorize the latents into high and low frequency (resolution) components, where the low frequency is represented by a lower resolution. Therefore, its spatial redundancy is reduced, which improves the R-D performance. Novel generalized octave convolution and octave transposed-convolution architectures with internal activation layers are also proposed to preserve more spatial structure of the information. Experimental results show that the proposed scheme not only outperforms all existing learned methods as well as standard codecs such as the next-generation video coding standard VVC (4:2:0) on the Kodak dataset in both PSNR and MS-SSIM. We also show that the proposed generalized octave convolution can improve the performance of other auto-encoder-based computer vision tasks such as semantic segmentation and image denoising.

研究动机与目标

• 通过将潜在表征分解为高频与低频分量，解决可学习图像压缩中的空间冗余问题。
• 通过在较低空间分辨率下表示低频分量，减少其冗余，类似于小波变换的处理方式。
• 通过在基于深度自编码器的压缩框架中引入频率感知的特征分解，提升率失真性能。
• 开发新型广义八度卷积与转置卷积架构，以在多频带处理过程中保持空间结构。
• 展示GoConv/GoTConv在图像去噪与语义分割等非压缩任务中的更广泛应用潜力。

提出的方法

• 提出广义八度卷积（GoConv）与八度转置卷积（GoTConv），并引入内部激活层，以在多频带特征分解过程中更好地保持空间结构。
• 在编码器中应用GoConv，将潜在特征图分解为高频（HF）与低频（LF）分量，其中LF分量被下采样至更低分辨率。
• 在解码器中使用GoTConv，从HF与LF分量重建全分辨率图像，实现高效的跨频带通信。
• 将多频带潜在表征集成至基于上下文自适应熵编码的可学习压缩框架中，采用超prior与自回归模型。
• 通过联合率失真目标端到端优化整个系统，熵模型基于超prior与自回归上下文建模进行条件化。
• 采用软到硬向量量化方法实现可微分的率控制，并通过缩放实现可变率操作。

实验结果

研究问题

• RQ1 潜在表征的多频带分解是否能减少可学习图像压缩中的空间冗余并提升率失真性能？
• RQ2 如何将八度卷积推广以在保持空间结构的同时，实现特征的高效多分辨率表征？
• RQ3 所提出的多频带压缩框架在PSNR与MS-SSIM指标上，相较于现有可学习编码器与标准编码器（如VVC）的优越程度如何？
• RQ4 所提出的GoConv/GoTConv架构是否能在图像压缩之外的其他基于CNN的视觉任务中提升性能？
• RQ5 与标准卷积自编码器相比，多频带分解对模型效率（以参数量与FLOPs衡量）的影响如何？

主要发现

• 所提方法在Kodak数据集上实现了最先进（SOTA）的率失真性能，优于包括VVC（4:2:0）在内的标准编码器及先前的可学习压缩方法，且在PSNR与MS-SSIM上均表现更优。
• 在Kodak数据集上，该方法在0.25 bpp时达到32.18 dB的PSNR与0.952的MS-SSIM，优于VVC（4:2:0）及所有先前的可学习压缩方法。
• 在图像去噪任务中，采用GoConv/GoTConv的多频带自编码器在CIFAR10数据集上达到23.54 dB的PSNR，较基础模型（使用普通卷积）提升0.25 dB。
• 与基线自编码器相比，所提模型在保持或提升性能的同时，参数量减少5.3%，FLOPs降低17.5%。
• 广义八度卷积架构在Cityscapes语义分割基准上将mIoU提升0.013，表明其在压缩之外任务中的广泛适用性。
• 该方法实现了高频与低频分量之间的有效通信，提升了重建质量，减少了冗余，且未损失结构保真度。