[论文解读] Latent Weights Do Not Exist: Rethinking Binarized Neural Network Optimization

Koen Helwegen, James Widdicombe+4 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Neural Network Applications参考文献 35被引用 38

一句话总结

本文将 Binarized Neural Networks (BNNs) 中潜在的实值权重重新表述为惯性而非真正的权重，提出基于梯度一致性的无潜在权重优化器（Bop），并在 CIFAR-10 和 ImageNet 上展示出竞争力的结果。

ABSTRACT

Optimization of Binarized Neural Networks (BNNs) currently relies on real-valued latent weights to accumulate small update steps. In this paper, we argue that these latent weights cannot be treated analogously to weights in real-valued networks. Instead their main role is to provide inertia during training. We interpret current methods in terms of inertia and provide novel insights into the optimization of BNNs. We subsequently introduce the first optimizer specifically designed for BNNs, Binary Optimizer (Bop), and demonstrate its performance on CIFAR-10 and ImageNet. Together, the redefinition of latent weights as inertia and the introduction of Bop enable a better understanding of BNN optimization and open up the way for further improvements in training methodologies for BNNs. Code is available at: https://github.com/plumerai/rethinking-bnn-optimization

研究动机与目标

• 重新评估确定性 BNN 训练中潜在权重的作用。
• 提出一个专为 BNN 设计的新优化器，放弃潜在权重。
• 在 CIFAR-10 和 ImageNet 上对所提方法进行实证评估。
• 提供可引导未来 BNN 优化的见解，超越实值近似。

提出的方法

• 将潜在权重表示为 w̃ = sign(w̃) · |w̃| 以将二值化权重与惯性分离。
• 把惯性幅值解读为二进制权重翻转的关键，而不是将其作为真正的权重参数。
• 提出 Binary Optimizer (Bop)，根据梯度的指数移动平均以及阈值来翻转权重，在优化过程中消除潜在权重。
• 使用指数移动平均 m_t = (1−γ)m_{t−1} + γ g_t，翻转规则：若 |m_t^i| ≥ τ 且 sign(m_t^i) = sign(w^{i}_{t−1})，则翻转。
• 对潜在幅值的截断或缩放被 γ（自适应）和 τ（阈值）所取代，以控制信号的一致性与强度。
• 在 CIFAR-10 与 ImageNet 上演示 Bop 的特性并与潜在权重基线进行比较。

实验结果

研究问题

• RQ1 潜在的实值权重在 BNN 中主要是作为惯性而非真正的优化变量吗？
• RQ2 围绕梯度一致性设计的无潜在权重优化器（Bop）能否达到甚至超越基于潜在权重的 BNN 训练？
• RQ3 Bop 在像 CIFAR-10 与 ImageNet 这样的标准基准上的经验收益是什么？
• RQ4 超参数 γ（自适应速率）和 τ（阈值）如何影响 BNN 优化的学习动态与泛化？

主要发现

• 潜在权重更应被理解为编码惯性；改变它们的幅值不会改变前向行为，除非发生符号翻转。
• 定理 1 在某些条件下显示学习率缩放不变性，意味着每权重学习率可以被吸收到初始化中。
• Bop，基于梯度一致性与翻转阈值的无潜在权重优化器，在 CIFAR-10 上实现具有竞争力的结果（Top-1 约 40–41% 与潜在基线约 40–41%），并且稳定性提升。
• 在 ImageNet 上，Bop 在 BinaryNet、XNOR-Net 和 BiReal-Net 的 Top-1 与 Top-5 准确率相比潜在权重基线具有竞争力（例如 BinaryNet：41.1% 对 40.1%； XNOR-Net：45.9% 对 44.2%； BiReal-Net：56.6% 对 56.4%）。
• Bop 在训练过程中减少内存需求（每个权重只有一个实值变量），并仅依赖两个直观的超参数（γ 和 τ）。
• 以惯性为导向的视角为 BNN 的正则化和知识蒸馏的进一步改进提供了途径。