[论文解读] How Do Adam and Training Strategies Help BNNs Optimization?

Zechun Liu, Zhiqiang Shen+4 more|arXiv (Cornell University)|Jun 21, 2021

Advanced Neural Network Applications被引用 26

一句话总结

本文分析为何 Adam 相对于 SGD 在二值神经网络（BNN）中的性能更优，并在相同架构下引入基于权重衰减的训练方案，通过简单的两步训练方法将 ImageNet 的 top-1 精度提升到 70.5%。

ABSTRACT

The best performing Binary Neural Networks (BNNs) are usually attained using Adam optimization and its multi-step training variants. However, to the best of our knowledge, few studies explore the fundamental reasons why Adam is superior to other optimizers like SGD for BNN optimization or provide analytical explanations that support specific training strategies. To address this, in this paper we first investigate the trajectories of gradients and weights in BNNs during the training process. We show the regularization effect of second-order momentum in Adam is crucial to revitalize the weights that are dead due to the activation saturation in BNNs. We find that Adam, through its adaptive learning rate strategy, is better equipped to handle the rugged loss surface of BNNs and reaches a better optimum with higher generalization ability. Furthermore, we inspect the intriguing role of the real-valued weights in binary networks, and reveal the effect of weight decay on the stability and sluggishness of BNN optimization. Through extensive experiments and analysis, we derive a simple training scheme, building on existing Adam-based optimization, which achieves 70.5% top-1 accuracy on the ImageNet dataset using the same architecture as the state-of-the-art ReActNet while achieving 1.1% higher accuracy. Code and models are available at https://github.com/liuzechun/AdamBNN.

研究动机与目标

• 研究为何 Adam 对 BNNs 的泛化优于 SGD。
• 理解激活饱和和二阶矩归一化如何影响 BNN 优化。
• 考察实值潜在权重和权重衰减在 BNN 训练稳定性中的作用。
• 提出在不改变架构的前提下提升性能的实用训练策略。

提出的方法

• 在相同架构下，对大规模 ImageNet 训练的 BNNs 进行 Adam 与 SGD 的比较。
• 可视化梯度和权重轨迹，以解释二值化下的优化动态。
• 引入指标（FF 比率和 C2I 比率）以量化稳定性和初始化依赖性。
• 分析权重衰减对实值潜在权重和二值权重稳定性的影响。
• 提出一个两步训练方案和权重衰减策略以提升精度，并与最先进的 BNNs 进行验证对比。

实验结果

研究问题

• RQ1 为何在 ImageNet 上对二值神经网络进行优化时，Adam 比 SGD 更有效？
• RQ2 激活饱和和二阶矩归一化如何影响 BNNs 的梯度流和权重更新？
• RQ3 权重衰减对 BNN 优化的稳定性和初始化依赖性的影响，以及如何相应地改进训练？

主要发现

• 在多种设置下，Adam 在 BNNs 上的 top-1 精度高于 SGD（例如在一项实验中为 61.49% 对 58.98%）。
• 激活饱和导致梯度为零或消失，Adam 通过自适应学习率和二阶矩归一化来缓解。
• 实值潜在权重作为二值符号的置信度分数；与 SGD 相比，Adam 产生更厚的尾部分布和更稳定、训练良好的权重分布。
• 实值潜在权重中的权重衰减影响稳定性和初始化依赖性，通过精心调优的两步训练方案在 ImageNet 上实现 70.5% 的 top-1，超越先前的 BNNs。