[论文解读] A Learning Algorithm for Evolving Cascade Neural Networks

Vitaly Schetinin|ArXiv.org|Apr 13, 2005

Neural Networks and Applications参考文献 6被引用 4

一句话总结

本文提出了一种用于演化级联神经网络（ECNNs）的新型学习算法，通过在训练过程中逐步增加输入和隐藏神经元来构建网络，从而实现最小化网络结构。该算法应用于临床脑电图（EEG）分类任务，在测试片段上实现了96.69%的准确率，优于标准全连接网络，展示了通过动态增长实现高效、紧凑模型学习的潜力。

ABSTRACT

A new learning algorithm for Evolving Cascade Neural Networks (ECNNs) is described. An ECNN starts to learn with one input node and then adding new inputs as well as new hidden neurons evolves it. The trained ECNN has a nearly minimal number of input and hidden neurons as well as connections. The algorithm was successfully applied to classify artifacts and normal segments in clinical electroencephalograms (EEGs). The EEG segments were visually labeled by EEG-viewer. The trained ECNN has correctly classified 96.69% of the testing segments. It is slightly better than a standard fully connected neural network.

研究动机与目标

• 开发一种学习算法，使神经网络能够在训练过程中通过增加输入和隐藏神经元实现增量式生长。
• 在保持高分类准确率的前提下，最小化最终网络中的神经元和连接数量。
• 将该算法应用于真实临床脑电图数据，以区分正常段与伪迹段。
• 评估演化级联网络相较于标准全连接网络的性能表现。
• 证明在生物医学信号处理中，通过动态构建网络结构是可行的。

提出的方法

• 该算法从单个输入节点开始，通过在训练过程中按需增加新的输入和隐藏神经元来逐步扩展网络结构。
• 在每一步中，算法评估增加新神经元或输入是否能改善泛化能力并降低误差。
• 网络结构根据误差最小化原则和新增组件的判定准则进行演化，确保连接数最小化。
• 学习过程采用反向传播进行权重调整，并引入级联结构，使新神经元以分层方式逐步添加。
• 当性能不再提升时，算法停止增长，最终形成几乎最小化的网络结构。
• 最终训练完成的ECNN在未见的脑电图测试数据上进行分类准确率评估。

实验结果

研究问题

• RQ1 神经网络是否能在训练过程中动态扩展其结构，以实现最小复杂度和高准确率？
• RQ2 在脑电图分类任务中，演化级联网络的性能与标准全连接网络相比如何？
• RQ3 所提出的算法能否有效识别并分类临床脑电图信号中的伪迹？
• RQ4 在避免过拟合的同时保持高准确率的前提下，何时应停止添加神经元为最佳？
• RQ5 增量式网络增长是否能提升生物医学信号分类任务中的泛化能力？

主要发现

• ECNN在临床脑电图片段上实现了96.69%的测试分类准确率，能够正确识别正常段与伪迹段。
• 在相同数据集上，ECNN的分类准确率优于标准全连接神经网络。
• 最终的ECNN网络结构几乎达到最小化，输入节点数、隐藏神经元数和连接数均显著减少。
• 增量式生长机制成功使网络适应数据，且未出现过拟合现象。
• 该算法在真实临床脑电图数据上表现出稳健性能，验证了其实际应用可行性。
• 结果证实，动态网络结构演化可实现高效且准确的神经网络模型设计。