[论文解读] Deep neural networks are robust to weight binarization and other non-linear distortions

Paul Merolla, Rathinakumar Appuswamy+3 more|arXiv (Cornell University)|Jun 7, 2016

Advanced Neural Network Applications参考文献 27被引用 77

一句话总结

本文展示了通过权重投影（如二值化、裁剪或随机区间投影）训练的深度神经网络，对包括加性噪声和乘性噪声在内的多种非线性失真表现出鲁棒性。该文提出一种新颖的随机投影规则，在未使用数据增强的情况下，于CIFAR-10上实现了7.64%的测试误差，达到当前最先进水平，表明即使在训练过程中未显式进行量化，鲁棒性依然能够自然涌现。

ABSTRACT

Recent results show that deep neural networks achieve excellent performance even when, during training, weights are quantized and projected to a binary representation. Here, we show that this is just the tip of the iceberg: these same networks, during testing, also exhibit a remarkable robustness to distortions beyond quantization, including additive and multiplicative noise, and a class of non-linear projections where binarization is just a special case. To quantify this robustness, we show that one such network achieves 11% test error on CIFAR-10 even with 0.68 effective bits per weight. Furthermore, we find that a common training heuristic--namely, projecting quantized weights during backpropagation--can be altered (or even removed) and networks still achieve a base level of robustness during testing. Specifically, training with weight projections other than quantization also works, as does simply clipping the weights, both of which have never been reported before. We confirm our results for CIFAR-10 and ImageNet datasets. Finally, drawing from these ideas, we propose a stochastic projection rule that leads to a new state of the art network with 7.64% test error on CIFAR-10 using no data augmentation.

研究动机与目标

• 探究使用权重投影训练的深度神经网络是否在训练期间所用失真之外也表现出鲁棒性。
• 确定仅通过非量化权重投影或甚至仅权重裁剪训练是否能获得鲁棒模型。
• 开发一种新的随机投影规则，以提升图像分类基准上的鲁棒性与性能。
• 在多个数据集（包括CIFAR-10和ImageNet）上验证鲁棒性与性能的提升。
• 探索在反向传播中使用失真梯度时，此类鲁棒性如何产生的理论基础。

提出的方法

• 作者提出一种随机投影规则，将每个权重映射到以其当前值为中心的随机区间，而非离散的量化级别。
• 训练期间，网络在前向与反向传播中使用投影后的权重，而真实权重则通过梯度下降进行更新。
• 该方法通过投影函数中的随机性实现梯度平滑，有助于网络收敛到对各种失真均鲁棒的解。
• 采用标准DNN在CIFAR-10和ImageNet上评估该方法，并通过消融实验分析不同投影类型与裁剪策略。
• 理论分析将训练目标建模为由于随机投影导致的误差曲面平滑化后的期望损失最小化。
• 作者提出在训练过程中逐步降低投影中的噪声尺度，以渐进减少随机性并收敛至标准反向传播。

实验结果

研究问题

• RQ1 使用非量化权重投影训练的深度神经网络是否仍能对权重失真表现出鲁棒性？
• RQ2 仅在训练期间进行权重裁剪是否能带来对失真的基础鲁棒性，即使未显式进行量化？
• RQ3 一种将权重映射到随机区间的随机投影规则是否能优于传统的基于量化的方法？
• RQ4 测试期间观察到的鲁棒性是否可泛化至不同类型失真（如加性噪声与乘性噪声）？
• RQ5 随机权重投影如何通过平滑误差曲面并改善泛化能力，其理论机制是什么？

主要发现

• 使用所提随机投影规则训练的ResNet-56模型在CIFAR-10上实现7.64%的测试误差，且未使用数据增强，为二值权重网络设定了新的SOTA记录。
• 即使每权重仅有效使用0.68比特，网络在CIFAR-10上仍实现11%的测试误差，表明对低精度表示具有极强鲁棒性。
• 仅通过权重裁剪训练（无任何量化或投影）的网络仍表现出对失真的基础鲁棒性，尽管性能略低于完整投影方法。
• 鲁棒性不仅限于二值化：在一种失真（如量化）下训练的网络，在其他无关失真（如加性与乘性噪声）下也表现良好。
• 理论分析证实，随机投影可平滑误差曲面，从而在训练过程中获得更稳定、更具泛化能力的解。
• 研究结果可推广至ImageNet，在多种网络架构与投影策略下，均观察到类似的鲁棒性与性能提升。