[论文解读] Compressing Weight-updates for Image Artifacts Removal Neural Networks

Yat Hong Lam, Alireza Zare+5 more|arXiv (Cornell University)|May 10, 2019

Advanced Image Processing Techniques被引用 5

一句话总结

本文提出在图像伪影去除的微调过程中对神经网络权重更新进行压缩，采用一种压缩感知的目标函数，以促进稀疏性和量化友好型更新。该方法可将这些更新高效地集成到传统编码器比特流中，在相当比特率下实现与标准编码器相当或更优的重建质量，标志着首次将神经网络权重更新压缩与图像压缩流水线相结合。

ABSTRACT

In this paper, we present a novel approach for fine-tuning a decoder-side neural network in the context of image compression, such that the weight-updates are better compressible. At encoder side, we fine-tune a pre-trained artifact removal network on target data by using a compression objective applied on the weight-update. In particular, the compression objective encourages weight-updates which are sparse and closer to quantized values. This way, the final weight-update can be compressed more efficiently by pruning and quantization, and can be included into the encoded bitstream together with the image bitstream of a traditional codec. We show that this approach achieves reconstruction quality which is on-par or slightly superior to a traditional codec, at comparable bitrates. To our knowledge, this is the first attempt to combine image compression and neural network's weight update compression.

研究动机与目标

• 解决在图像压缩流水线中传输完整神经网络权重更新的低效问题。
• 通过在微调过程中鼓励稀疏性和量化兼容性，提升模型更新的可压缩性。
• 在不损失重建质量的前提下，将压缩后的权重更新集成到标准图像编码器比特流中。
• 探索联合设计神经网络微调与压缩目标以实现端到端图像重建的可行性。

提出的方法

• 在解码器端神经网络的微调过程中应用压缩目标函数，以优化权重更新的可压缩性。
• 该目标函数促进权重更新的稀疏性，并鼓励参数值接近量化级别，以增强可压缩性。
• 随后对权重更新进行剪枝和量化，从而实现高效编码并嵌入主图像比特流。
• 该方法被集成到传统图像编码器流水线中，图像数据与压缩后的权重更新共同传输。
• 该方法利用预训练的伪影去除网络，在最小化更新大小的同时保持高重建保真度。

实验结果

研究问题

• RQ1 能否通过专用训练目标使微调神经网络生成的权重更新更具可压缩性？
• RQ2 与标准编码器相比，压缩感知微调对图像重建质量有何影响？
• RQ3 压缩后的权重更新在多大程度上可高效嵌入传统图像比特流中？
• RQ4 在模型更新可压缩性与图像重建保真度之间是否存在权衡？

主要发现

• 所提方法在相当比特率下实现了与传统编码器相当或略优的图像重建质量。
• 在压缩目标下生成的权重更新由于引入的稀疏性和量化对齐，其可压缩性显著提升。
• 将压缩后的权重更新集成到主比特流中是可行的，并且保持了端到端的压缩效率。
• 该方法代表了首次已知的在统一流水线中联合优化神经网络权重更新压缩与图像压缩的尝试。