[论文解读] Adjustable Bounded Rectifiers: Towards Deep Binary Representations

Zhirong Wu, Dahua Lin+1 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Neural Network Applications参考文献 21被引用 12

一句话总结

本文提出可调节有界整流器——一种可学习的、有界的激活函数，能在训练过程中软性促使深度神经网络的激活值收敛至二值（0或1）状态。该方法可在极小精度损失下实现特征表示的完全二值化，在MNIST、CIFAR10和ImageNet上均达到最先进性能，并表明二值神经元具有语义可解释性，适用于全位运算的模型部署。

ABSTRACT

Binary representation is desirable for its memory efficiency, computation speed and robustness. In this paper, we propose adjustable bounded rectifiers to learn binary representations for deep neural networks. While hard constraining representations across layers to be binary makes training unreasonably difficult, we softly encourage activations to diverge from real values to binary by approximating step functions. Our final representation is completely binary. We test our approach on MNIST, CIFAR10, and ILSVRC2012 dataset, and systematically study the training dynamics of the binarization process. Our approach can binarize the last layer representation without loss of performance and binarize all the layers with reasonably small degradations. The memory space that it saves may allow more sophisticated models to be deployed, thus compensating the loss. To the best of our knowledge, this is the first work to report results on current deep network architectures using complete binary middle representations. Given the learned representations, we find that the firing or inhibition of a binary neuron is usually associated with a meaningful interpretation across different classes. This suggests that the semantic structure of a neural network may be manifested through a guided binarization process.

研究动机与目标

• 在不显著降低性能的前提下，实现深度神经网络激活值的完全二值化。
• 开发一种可训练的激活函数，逐步促使实值激活值向二值（0或1）收敛。
• 研究二值神经元的可解释性及其在语义分类中的功能角色。
• 探索在学习二值表示后对模型参数进行二值化的可行性。
• 证明二值表示可用于构建高效、基于位运算的深度学习模型，适用于资源受限环境的部署。

提出的方法

• 提出可调节有界整流器作为介于0和1之间的可学习激活函数，其线性部分的斜率是可训练参数。
• 对斜率参数施加权重增长约束（与权重衰减相反），以促使函数趋近于阶跃函数。
• 在标准深度网络架构中用该激活函数替代ReLU，实现特征图中二值输出的端到端训练。
• 采用两阶段训练流程：首先使用实值参数进行训练，然后对最终表示进行二值化，并微调偏置和斜率参数。
• 应用可视化技术，识别触发或抑制每个二值神经元的最小图像模式，实现语义解释。
• 将方法扩展至参数二值化，即在学习后通过阈值化将权重设为±1，同时保持第一层和偏置可训练。

实验结果

研究问题

• RQ1 深度神经网络能否在不显著降低性能的前提下，训练出完全二值化的特征表示？
• RQ2 在二值化时，不同层对整体性能的贡献如何？哪些层对二值化最敏感？
• RQ3 二值神经元能否实现语义可解释？它们代表高层概念还是低层模式？
• RQ4 在学习二值激活后，对模型参数进行二值化是否可行？会产生何种性能权衡？
• RQ5 当无需完全二值化时，该方法是否仍可作为正则化手段发挥作用？

主要发现

• 该方法在CIFAR10上实现了75.07%的top-1准确率，使用4倍大的网络，与仅使用二值表示和位运算的基线模型75.40%的准确率相当。
• 仅二值化最后一层时，所有数据集上均无性能损失，证明了后期二值化的可行性。
• 对所有层进行二值化会导致性能小幅下降，且性能下降最显著的出现在特定层，表明存在架构瓶颈。
• 该方法可发现语义可解释的二值神经元，其对“正类”（如动物）稳定激活，对“负类”（如人工制品）则被抑制，揭示了语义结构。
• 可视化结果表明，部分神经元捕捉到高层概念（如翅膀、轮子），而另一些则检测到纹理和形状等低层模式。
• 模型对参数二值化具有鲁棒性，在更大架构中性能显著提升，表明标准深度模型中存在冗余。