[论文解读] Critical initialisation in continuous approximations of binary neural networks

Grigore Stâmâtescu, Federica Gerace+3 more|arXiv (Cornell University)|Feb 1, 2019

Neural Networks and Applications参考文献 13被引用 4

一句话总结

本文提出了一种基于马尔可夫链的新型推导方法，用于二值神经网络的连续替代模型，揭示了关键初始化——即权重均值初始化在±1附近——对于训练深层网络至关重要。与直觉相反，标准初始化方法失效；相反，将权重均值初始化在±1可实现稳定的信号传播，并在确定性和随机替代模型中避免梯度消失/爆炸问题。

ABSTRACT

The training of stochastic neural network models with binary ($\pm1$) weights and activations via continuous surrogate networks is investigated. We derive new surrogates using a novel derivation based on writing the stochastic neural network as a Markov chain. This derivation also encompasses existing variants of the surrogates presented in the literature. Following this, we theoretically study the surrogates at initialisation. We derive, using mean field theory, a set of scalar equations describing how input signals propagate through the randomly initialised networks. The equations reveal whether so-called critical initialisations exist for each surrogate network, where the network can be trained to arbitrary depth. Moreover, we predict theoretically and confirm numerically, that common weight initialisation schemes used in standard continuous networks, when applied to the mean values of the stochastic binary weights, yield poor training performance. This study shows that, contrary to common intuition, the means of the stochastic binary weights should be initialised close to $\pm 1$, for deeper networks to be trainable.

研究动机与目标

• 解决二值神经网络连续替代模型缺乏原则性初始化策略的问题。
• 利用随机二值网络的马尔可夫链表示，为确定性和随机替代模型建立统一框架。
• 使用场论和自平均性论证，分析初始化时的信号传播。
• 确定不同替代类型是否存在关键初始化，并识别最优初始化方案。
• 解决先前工作中关于二值网络中反向传播和初始化的不一致性问题。

提出的方法

• 通过随机二值神经网络的马尔可夫链公式推导连续替代模型，实现对权重和神经元随机性的统一处理。
• 应用中心极限定理近似每一层神经元激活的分布，从而实现对离散二值操作的连续逼近。
• 使用场论和自平均性论证，推导描述随机初始化网络中信号方差和相关性传播的标量方程。
• 通过判断信号方差在各层间是否保持稳定，分析临界性，识别能将相关性保持到任意深度的初始化条件。
• 比较两种替代类型：通过解析积分实现的确定性替代和通过局部重参数化技巧实现的随机替代，评估其关键初始化特性。
• 通过MNIST分类实验对理论预测进行数值验证，实验中调整网络深度、蒙特卡洛采样数和初始化方案。

实验结果

研究问题

• RQ1 能否利用马尔可夫链表示，为二值神经网络的确定性和随机替代模型建立统一的推导框架？
• RQ2 二值神经网络的确定性和随机替代模型是否存在关键初始化？若存在，其条件是什么？
• RQ3 对随机二值神经元的权重均值进行初始化的选择，如何影响深层网络中的信号传播和训练性能？
• RQ4 为何在连续网络中常用的标准初始化方法，在应用于替代训练中二值权重的均值时会失效？
• RQ5 在随机替代模型中，蒙特卡洛采样数如何影响对应二值网络在训练过程中的性能？

主要发现

• 马尔可夫链公式实现了对确定性和随机替代模型的统一推导，包括首次将局部重参数化技巧扩展至随机二值神经元。
• 对于具有随机二值权重和神经元的网络，仅确定性替代模型可实现关键初始化；而使用LRT的随机替代模型无法实现。
• 对于具有随机二值权重和连续神经元的网络，LRT替代模型可实现关键初始化，而此情况下不存在确定性替代模型。
• 两种替代模型的关键初始化均要求将权重均值设置在±1附近，这一结果与标准初始化启发式方法相悖，具有反直觉性。
• 数值实验表明，将权重均值初始化在±1附近可显著提升训练性能，尤其在深层网络中表现更优，而标准初始化方案则失效。
• 随机二值网络的性能随蒙特卡洛采样数增加而提升，逐渐逼近连续替代模型的性能，并在训练过程中趋于与替代模型行为一致。