[论文解读] A Global Algorithm for Training Multilayer Neural Networks

Hong Zhao, Tao Jin|ArXiv.org|Jul 6, 2006

Neural Networks and Applications参考文献 1被引用 4

一句话总结

本文提出一种基于蒙特卡罗自适应（MCA）的全局学习算法，用于训练多层神经网络，且对突触权重类型（离散或连续）及转移函数可微性无限制。通过控制输入样本引起的局部场分布，该方法在泛化能力上优于反向传播，实验证明两层网络在更高效、更稳健地解决线性不可分分类任务方面表现更优。

ABSTRACT

We present a global algorithm for training multilayer neural networks in this Letter. The algorithm is focused on controlling the local fields of neurons induced by the input of samples by random adaptations of the synaptic weights. Unlike the backpropagation algorithm, the networks may have discrete-state weights, and may apply either differentiable or nondifferentiable neural transfer functions. A two-layer network is trained as an example to separate a linearly inseparable set of samples into two categories, and its powerful generalization capacity is emphasized. The extension to more general cases is straightforward.

研究动机与目标

• 为克服反向传播的局限性，如对可微转移函数和连续突触权重的依赖。
• 开发一种全局训练算法，通过控制输入样本引起的局部场分布（LFNIIS）的统计分布，优化网络性能。
• 实现具有离散突触状态的多层网络训练，以体现生物合理性与数字硬件可行性。
• 在与标准反向传播网络相比，展示在解决线性不可分分类任务时更优的泛化能力。
• 提供一种适用于单层、多层及多类别分类问题的灵活框架。

提出的方法

• 该算法聚焦于控制所有层中由输入样本引起的局部场分布（LFNIIS）的目标分布。
• 通过随机突触权重调整，仅当调整在统计上减少与目标LFNIIS分布的差异时才接受。
• 采用决策准则确保向目标分布的一维收敛，从而保证网络行为的稳定演化。
• 该方法采用类似蒙特卡罗的搜索方式遍历突触权重状态，接受标准基于所有样本的全局性能提升。
• 该算法应用于具有隐藏层和输出层的两层网络，其中各层的转移函数和权重状态独立定义。
• 训练通过迭代方式进行：随机选择权重，随机适应，并通过LFNIIS分布准则评估全局改进。

实验结果

研究问题

• RQ1 能否设计一种全局学习规则，避免反向传播的局部极小值和导数约束？
• RQ2 在多层网络中，离散突触权重在多大程度上可提升泛化能力和训练效率？
• RQ3 控制隐藏层和输出层中局部场的分布，对分类性能有何影响？
• RQ4 该算法能否有效训练具有非可微转移函数的网络？
• RQ5 训练时间与收敛性是否对接受准则的选择和参数调优高度敏感？

主要发现

• 基于MCA的网络在分类线性不可分样本时，相比标准反向传播网络，表现出显著更优的泛化能力。
• 使用离散权重（如±1、±3）使最大可线性分离样本数相比连续或二值权重有所增加，如图3所示。
• 在个人计算机上，MCA算法仅需约一小时计算时间即可达到$ t_{ u}h_{ u}^{(2)} \geq 30 $的分类阈值，而反向传播在最优学习率下需六小时。
• 固定输出层权重，仅训练隐藏层可显著缩短训练时间，表明输出层主要作用是扩展决策空间。
• 训练过程对技术细节敏感：将$ n \geq 0 $替换为$ n > 0 $使训练时间翻倍，而逐步调整常数$ c $可显著缩短训练时间。
• 在接受准则中引入温度参数以复杂且非单调的方式影响训练效率，表明仍有进一步优化空间。