[论文解读] Computationally Efficient Neural Image Compression

Nick Johnston, Elad Eban+2 more|arXiv (Cornell University)|Dec 18, 2019

Image and Signal Denoising Methods参考文献 22被引用 22

一句话总结

本文提出计算高效神经图像压缩（CENIC），在不牺牲率失真性能的前提下，将最先进神经图像压缩模型的解码器运行时间减少50%以上。该方法通过FLOP正则化的架构搜索（使用MorphNet）、GDN激活函数的简化，以及针对MS-SSIM和MSE损失函数的针对性优化，证明了MS-SSIM优化的模型在计算加速方面更具可行性。

ABSTRACT

Image compression using neural networks have reached or exceeded non-neural methods (such as JPEG, WebP, BPG). While these networks are state of the art in ratedistortion performance, computational feasibility of these models remains a challenge. We apply automatic network optimization techniques to reduce the computational complexity of a popular architecture used in neural image compression, analyze the decoder complexity in execution runtime and explore the trade-offs between two distortion metrics, rate-distortion performance and run-time performance to design and research more computationally efficient neural image compression. We find that our method decreases the decoder run-time requirements by over 50% for a stateof-the-art neural architecture.

研究动机与目标

• 为解决神经图像压缩解码器的高计算成本，特别是针对智能手机等资源受限设备的问题。
• 研究神经图像压缩模型中率失真性能与解码器运行时间之间的权衡关系。
• 开发一种系统化方法，利用自动化架构搜索与正则化技术设计计算高效的神经图像压缩架构。
• 分析不同失真度量（MSE与MS-SSIM）对计算优化模型可行性与性能的影响。
• 为在真实世界低延迟环境中部署神经图像压缩提供可操作的见解。

提出的方法

• 应用MorphNet（一种可微分架构搜索技术），基于FLOPs对网络架构进行正则化，实现冗余通道的自动剪枝，从而降低计算量。
• 通过固定参数α_ij和ε_i，简化广义除法归一化（GDN）激活函数，显著降低解码过程中的计算开销，且性能损失可忽略不计。
• 采用Group Lasso正则化方法进行模型训练，以促进通道维度的稀疏性，从而生成更小、更快的模型架构。
• 使用无上下文模型的基线均值尺度超先验架构，以隔离并分析解码复杂度。
• 对比CPU与GPU上的运行时间，评估平台相关性能差异，并识别推理流水线中的瓶颈。
• 在多个失真度量（PSNR、MS-SSIM）和比特率下评估模型，以分析感知质量与计算成本之间的权衡。

实验结果

研究问题

• RQ1 如何在不降低率失真性能的前提下，显著提升神经图像压缩模型的计算效率？
• RQ2 使用不同失真度量（MSE与MS-SSIM）对计算优化模型的可行性与性能有何影响？
• RQ3 像MorphNet这样的自动化架构搜索技术能否有效降低解码器运行时间，同时保持高保真压缩质量？
• RQ4 对GDN等激活函数的简化如何影响神经图像压缩中的推理速度与性能？
• RQ5 在CPU与GPU平台上，神经图像解码器的运行时间行为存在哪些关键差异？

主要发现

• CENIC方法使最先进神经图像压缩架构的解码器运行时间减少50%以上，显著提升了实际部署潜力。
• MS-SSIM优化的模型比MSE优化的模型更容易实现计算效率优化，尤其在高比特率下表现更优。
• 通过固定α_ij和ε_i参数简化GDN激活函数，显著降低了解码时间，且未对率失真性能造成可测量的损失。
• 均值尺度模型在GPU上实现3.7倍加速（62ms）相较于CPU（230ms），凸显了硬件与实现方式在运行时间评估中的关键作用。
• 通过MorphNet实现的FLOP正则化架构搜索被证明能有效发现高效架构；若不加正则化而单纯增加层容量，则无法带来率失真性能的提升。
• MS-SSIM优化使解码时间在CPU与GPU平台上的波动更小、更一致，相比MSE优化模型表现更优。