[论文解读] Training Process Reduction Based On Potential Weights Linear Analysis To Accelarate Back Propagation Network

Roya Asadi, Norwati Mustapha+1 more|ArXiv.org|Aug 11, 2009

Neural Networks and Applications参考文献 25被引用 6

一句话总结

本文提出了一种新型预处理技术——潜在权重线性分析（PWLA），该技术整合了归一化、降维和预训练，以加速反向传播神经网络（BPN）的训练。通过在预训练后使用真实潜在权重来降低输入维度，PWLA使有监督多层前馈神经网络（SMFFNN）能够在单个训练周期内实现高精度，无需迭代训练过程，显著缩短了训练时间，并克服了随机权重初始化带来的问题。

ABSTRACT

Learning is the important property of Back Propagation Network (BPN) and finding the suitable weights and thresholds during training in order to improve training time as well as achieve high accuracy. Currently, data pre-processing such as dimension reduction input values and pre-training are the contributing factors in developing efficient techniques for reducing training time with high accuracy and initialization of the weights is the important issue which is random and creates paradox, and leads to low accuracy with high training time. One good data preprocessing technique for accelerating BPN classification is dimension reduction technique but it has problem of missing data. In this paper, we study current pre-training techniques and new preprocessing technique called Potential Weight Linear Analysis (PWLA) which combines normalization, dimension reduction input values and pre-training. In PWLA, the first data preprocessing is performed for generating normalized input values and then applying them by pre-training technique in order to obtain the potential weights. After these phases, dimension of input values matrix will be reduced by using real potential weights. For experiment results XOR problem and three datasets, which are SPECT Heart, SPECTF Heart and Liver disorders (BUPA) will be evaluated. Our results, however, will show that the new technique of PWLA will change BPN to new Supervised Multi Layer Feed Forward Neural Network (SMFFNN) model with high accuracy in one epoch without training cycle. Also PWLA will be able to have power of non linear supervised and unsupervised dimension reduction property for applying by other supervised multi layer feed forward neural network model in future work.

研究动机与目标

• 为解决反向传播网络（BPN）中随机权重初始化导致的效率低下和不稳定问题，该问题常引发高训练时间与低准确率。
• 通过将归一化、降维和预训练等数据预处理技术整合到统一框架中，减少BPN的训练时间。
• 开发一种方法，使BPN能够在单个训练周期内实现收敛且保持高准确率，从而无需迭代反向传播。
• 创建一种兼具有监督与无监督降维能力的预处理技术，以提升其在前馈神经网络中的广泛应用性。

提出的方法

• 对输入数据应用归一化，以在处理前标准化特征尺度。
• 使用归一化后的数据进行预训练，以计算网络的初始潜在权重。
• 利用计算出的潜在权重指导输入数据矩阵的降维。
• 通过将数据投影到由最重要潜在权重所定义的子空间中，减少输入特征空间。
• 使用降维并预处理后的输入数据训练最终的有监督多层前馈神经网络（SMFFNN）。
• 应用训练完成的SMFFNN模型，无需迭代反向传播，即可在单个训练周期内实现收敛。

实验结果

研究问题

• RQ1 将归一化、预训练和降维整合到统一的预处理框架中，是否能显著减少BPN的训练时间？
• RQ2 基于预训练获得的潜在权重是否能实现有效的降维，同时保持分类准确率？
• RQ3 使用所提出的PWLA方法训练的BPN是否能在无需迭代反向传播的情况下，即在单个训练周期内实现高准确率？
• RQ4 在基准数据集上，PWLA相较于传统BPN训练在收敛速度和准确率方面有多大的优势？
• RQ5 PWLA框架是否可扩展至其他兼具有监督与无监督学习特性的有监督前馈神经网络模型？

主要发现

• 所提出的PWLA方法成功地将标准反向传播网络转化为有监督多层前馈神经网络（SMFFNN），使其在单个训练周期内实现高准确率。
• 使用PWLA预处理的数据，XOR问题在单个训练周期内即以100%的准确率被解决，展现出快速收敛能力。
• 在SPECT心脏、SPECTF心脏和BUPA肝脏疾病数据集上，PWLA实现了高分类准确率，且几乎无需或完全无需训练迭代。
• 该方法有效结合了有监督与无监督降维，实现了高效的特征空间压缩，同时信息损失极小。
• 通过用预训练的潜在权重替代随机权重初始化，PWLA消除了传统BPN训练中常见的不稳定性和收敛缓慢问题。
• 结果表明，PWLA是传统训练方法的可行替代方案，能显著缩短训练时间，同时保持或提升准确率。