[论文解读] Minimal Random Code Learning: Getting Bits Back from Compressed Model Parameters

Marton Havasi, Robert Peharz+1 more|arXiv (Cornell University)|Sep 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 17被引用 10

一句话总结

该论文提出了一种名为最小随机代码学习（MIRACLE）的新颖神经网络压缩方法，通过从权重的变分后验分布中编码一个随机样本，利用比特回溯（bits-back）论证实现接近理论压缩极限的效果。通过直接优化模型性能与压缩率之间的KL散度控制，MIRACLE在MNIST和CIFAR-10基准上实现了帕累托效率的新SOTA（最先进）水平。

ABSTRACT

While deep neural networks are a highly successful model class, their large memory footprint puts considerable strain on energy consumption, communication bandwidth, and storage requirements. Consequently, model size reduction has become an utmost goal in deep learning. A typical approach is to train a set of deterministic weights, while applying certain techniques such as pruning and quantization, in order that the empirical weight distribution becomes amenable to Shannon-style coding schemes. However, as shown in this paper, relaxing weight determinism and using a full variational distribution over weights allows for more efficient coding schemes and consequently higher compression rates. In particular, following the classical bits-back argument, we encode the network weights using a random sample, requiring only a number of bits corresponding to the Kullback-Leibler divergence between the sampled variational distribution and the encoding distribution. By imposing a constraint on the Kullback-Leibler divergence, we are able to explicitly control the compression rate, while optimizing the expected loss on the training set. The employed encoding scheme can be shown to be close to the optimal information-theoretical lower bound, with respect to the employed variational family. Our method sets new state-of-the-art in neural network compression, as it strictly dominates previous approaches in a Pareto sense: On the benchmarks LeNet-5/MNIST and VGG-16/CIFAR-10, our approach yields the best test performance for a fixed memory budget, and vice versa, it achieves the highest compression rates for a fixed test performance.

研究动机与目标

• 为解决大尺寸深度神经网络在移动和边缘应用中带来的高内存与高能耗问题。
• 克服现有方法因固定于单一确定性权重集合而导致的压缩效率低下问题。
• 利用深度网络的过参数化特性，从众多优质权重配置中选择一个‘低成本’的配置。
• 在训练过程中对模型性能与压缩率实现显式、直接的控制。
• 通过实用且可实现的编码方案，实现接近信息论下限的压缩率。

提出的方法

• 该方法学习网络权重的完整变分后验分布，而非单一确定性权重集合。
• 利用一种基于比特回溯论证的编码方案，对来自该变分分布的随机样本进行编码，以实现近似最优压缩。
• 编码成本近似等于变分后验与先验之间的KL散度，该值在训练过程中被最小化。
• 设计了一种实用算法，用于生成可高效编码的变分分布近似样本。
• 通过KL散度惩罚项显式控制压缩率，直接关联到编码长度。
• 采用局部编码目标与迭代变分更新策略，以平衡模型性能与压缩率。

实验结果

研究问题

• RQ1 通过从完整的变分后验分布中编码一个随机样本，而非单一确定性权重集合，我们能否实现比现有方法更高的压缩率？
• RQ2 在无需联合编码目标的情况下，比特回溯论证在神经网络压缩中能在多大程度上被实际实现？
• RQ3 我们能否通过单一超参数（如KL惩罚项）实现对模型准确率与压缩大小的显式、直接控制？
• RQ4 实用压缩方法在多大程度上能接近权重编码的信息论下限？
• RQ5 通过从分布中选择一个‘低成本’权重配置来利用过参数化特性，是否能改善模型大小与测试准确率之间的帕累托权衡？

主要发现

• 在LeNet-5/MNIST上，MIRACLE在3.03 kB（压缩555倍）时实现0.69%的测试误差，优于贝叶斯压缩（1.0%误差，2.3 kB）和深度压缩（0.8%误差，44 kB）。
• 对于同一模型，MIRACLE在1.52 kB（压缩1110倍）时实现0.96%的测试误差，压缩效率全面超越所有先前方法。
• 在VGG-16/CIFAR-10上，MIRACLE实现452倍压缩（135 kB），测试误差10.0%，显著优于贝叶斯压缩（95倍，8.6%）及其他基线方法。
• 通过调整KL惩罚项，MIRACLE构建了清晰的帕累托前沿，展现出更优的权衡：在任意给定大小下准确率更高，或在任意给定准确率下压缩率更高。
• 该方法在两个基准上均严格主导先前方法，在帕累托意义上实现了SOTA性能。
• 理论分析证实，该方法的编码效率接近由比特回溯论证定义的信息论下限。