[论文解读] FleXOR: Trainable Fractional Quantization

Dongsoo Lee, Se Jung Kwon+4 more|arXiv (Cornell University)|Sep 9, 2020

Advanced Image and Video Retrieval Techniques被引用 3

一句话总结

本文提出FleXOR，一种可训练的分数位量化方法，通过将XOR门网络集成到神经网络中，实现使用XOR门网络的子1比特权重压缩。通过使用可微分的$ ext{anh}(x)$激活函数对XOR运算进行建模以支持反向传播，该方法在训练过程中学习最优的比特模式，在MNIST、CIFAR-10和ImageNet上实现了比二值神经网络更高的准确率和更小的模型尺寸。

ABSTRACT

Quantization based on the binary codes is gaining attention because each quantized bit can be directly utilized for computations without dequantization using look-up tables. Previous attempts, however, only allow for integer numbers of quantization bits, which ends up restricting the search space for compression ratio and accuracy. In this paper, we propose an encryption algorithm/architecture to compress quantized weights so as to achieve fractional numbers of bits per weight. Decryption during inference is implemented by digital XOR-gate networks added into the neural network model while XOR gates are described by utilizing $ anh(x)$ for backward propagation to enable gradient calculations. We perform experiments using MNIST, CIFAR-10, and ImageNet to show that inserting XOR gates learns quantization/encrypted bit decisions through training and obtains high accuracy even for fractional sub 1-bit weights. As a result, our proposed method yields smaller size and higher model accuracy compared to binary neural networks.

研究动机与目标

• 克服现有方法中仅限整数位数量化位宽的局限性。
• 实现每权重的分数位压缩率，扩展模型压缩的搜索空间。
• 设计一种可微分架构，支持使用XOR门网络对量化权重进行端到端训练。
• 与二值神经网络相比，实现更高的模型准确率和更小的模型尺寸。

提出的方法

• 将数字XOR门网络直接集成到神经网络中，以在推理过程中执行解密操作，而无需反量化。
• 使用$\text{anh}(x)$作为XOR运算的可微分近似，以在反向传播过程中实现梯度流动。
• 端到端训练网络，以学习分数位量化下的最优比特模式。
• 应用该方法将权重压缩为子1比特表示，使用可训练的XOR逻辑。
• 采用可学习的量化方案，其中比特决策在训练过程中被优化。
• 通过基于XOR的编码方式，支持非整数位分配，实现分数位率。

实验结果

研究问题

• RQ1 能否以可微分且可训练的方式实现分数位量化？
• RQ2 能否在无需反量化的情况下，将XOR门网络有效集成到深度神经网络中用于推理？
• RQ3 使用$\text{anh}(x)$作为XOR的代理是否能实现有效的反向传播和模型收敛？
• RQ4 所提出的方法能否在子1比特压缩下实现比二值神经网络更高的准确率和更小的模型尺寸？

主要发现

• 所提出的FleXOR方法即使在分数位子1比特量化水平下也能实现高准确率，证明了非整数位压缩的可行性。
• XOR门网络的集成使得无需查表即可直接对量化权重进行计算，降低了内存和计算开销。
• 使用$\text{anh}(x)$作为XOR的可微分代理，实现了有效的反向传播和端到端训练。
• 在MNIST、CIFAR-10和ImageNet上的实验表明，FleXOR在模型准确率和压缩效率方面均优于二值神经网络。