[论文解读] Influence of the learning method in the performance of feedforward neural networks when the activity of neurons is modified

M. Konomi, G. M. Sacha|arXiv (Cornell University)|Apr 21, 2014

Neural Networks and Applications参考文献 16被引用 3

一句话总结

本文研究了不同学习方法——反向传播（BP）与进化算法（EA）——在神经元活动受损时对前馈神经网络鲁棒性的影响。结果表明，即使在训练后禁用神经元，EA训练的网络在准确率和收敛速度方面均显著优于BP网络，表明EA对神经元失效更具鲁棒性，更适用于模拟生物上合理的学习系统。

ABSTRACT

A method that allows us to give a different treatment to any neuron inside feedforward neural networks is presented. The algorithm has been implemented with two very different learning methods: a standard Back-propagation (BP) procedure and an evolutionary algorithm. First, we have demonstrated that the EA training method converges faster and gives more accurate results than BP. Then we have made a full analysis of the effects of turning off different combinations of neurons after the training phase. We demonstrate that EA is much more robust than BP for all the cases under study. Even in the case when two hidden neurons are lost, EA training is still able to give good average results. This difference implies that we must be very careful when pruning or redundancy effects are being studied since the network performance when losing neurons strongly depends on the training method. Moreover, the influence of the individual inputs will also depend on the training algorithm. Since EA keeps a good classification performance when units are lost, this method could be a good way to simulate biological learning systems since they must be robust against deficient neuron performance. Although biological systems are much more complex than the simulations shown in this article, we propose that a smart training strategy such as the one shown here could be considered as a first protection against the losing of a certain number of neurons.

研究动机与目标

• 评估神经元活动修改对前馈神经网络性能的影响。
• 比较在神经元失效条件下，反向传播（BP）与进化算法（EA）训练方法的鲁棒性。
• 探究EA是否因对神经元丢失具有内在鲁棒性，而能更好地模拟生物学习系统。
• 分析在神经元被禁用时，输入影响如何随训练方法而变化。
• 确定训练方法的选择是否对剪枝或冗余性研究中的结论具有决定性影响。

提出的方法

• 构建了一个神经网络框架，可在训练后选择性地禁用单个神经元。
• 采用两种不同的学习方法对网络进行训练：标准反向传播（BP）与一种进化算法（EA）。
• 应用EA，通过基于适应度的选择、变异和交叉来优化网络权重与拓扑结构。
• 在多个配置下，对BP和EA训练的网络系统性地执行神经元禁用实验。
• 通过测量分类准确率和收敛速度，比较神经元失效条件下的性能表现。
• 分析不同神经元组合与训练方法下的输入敏感性与网络鲁棒性。

实验结果

研究问题

• RQ1 在训练后禁用神经元时，学习方法的选择（BP与EA）如何影响网络性能？
• RQ2 在相同条件下，EA训练是否能带来比BP更快的收敛速度和更高的准确率？
• RQ3 当隐藏神经元丢失时，EA在多大程度上仍能保持分类性能？
• RQ4 个体输入对网络输出的影响如何取决于所使用的训练算法？
• RQ5 EA训练的网络是否能更好地模拟生物系统对神经元 dysfuction 的耐受性？

主要发现

• 在训练阶段，进化算法（EA）训练方法的收敛速度更快，准确率更高。
• 即使禁用了两个隐藏神经元，EA训练的网络仍保持了良好的平均分类性能，表现出更优的鲁棒性。
• BP训练的网络在神经元被禁用时性能显著下降，尤其在多个神经元被禁用时更为明显。
• 个体输入对网络输出的影响更依赖于训练方法，表明训练算法的选择会影响输入敏感性。
• EA训练的网络对神经元失效表现出更强的鲁棒性，表明训练方法的选择对剪枝与冗余性研究的结论具有关键影响。
• 结果表明，由于EA对神经元丢失具有内在鲁棒性，其可作为更具生物学合理性的训练策略。