[论文解读] Hierarchical Learning Algorithm for the Beta Basis Function Neural Network

Habib Dhahri, Adel M. Alimi|arXiv (Cornell University)|Oct 30, 2012

Neural Networks and Applications参考文献 6被引用 10

一句话总结

本文提出一种分层学习算法（HLABBFNN），用于贝塔基函数神经网络（BBFNN），在高层结合遗传算法进行网络结构优化，在低层采用基于梯度的学习方法调节宽度、中心和贝塔形状参数。与传统方法相比，该方法在非线性函数逼近方面表现出更优的性能。

ABSTRACT

The paper presents a two-level learning method for the design of the Beta Basis Function Neural Network BBFNN. A Genetic Algorithm is employed at the upper level to construct BBFNN, while the key learning parameters :the width, the centers and the Beta form are optimised using the gradient algorithm at the lower level. In order to demonstrate the effectiveness of this hierarchical learning algorithm HLABBFNN, we need to validate our algorithm for the approximation of non-linear function.

研究动机与目标

• 为解决在非线性函数逼近中贝塔基函数神经网络（BBFNN）的最优参数选择挑战。
• 通过整合全局与局部优化策略，提升学习效率与逼近精度。
• 构建一个两级学习框架，结合遗传算法的全局搜索能力与基于梯度方法的快速收敛特性。
• 通过在非线性函数逼近任务上的严格测试，验证分层方法的有效性。

提出的方法

• 采用两级学习架构：在高层使用遗传算法（GA）演化网络结构与关键参数。
• 在低层使用基于梯度的优化算法微调BBFNN的参数：中心、宽度与贝塔形状因子。
• BBFNN使用贝塔基函数作为激活单元，能够灵活建模复杂的非线性关系。
• 通过在全局搜索（GA）与局部优化（梯度下降）之间交替，避免陷入局部极小值并加速收敛。
• 该算法在标准非线性函数逼近问题上实现并进行了测试。
• 参数更新以迭代方式进行，其中GA生成候选解，梯度下降对之进行精细化调整。

实验结果

研究问题

• RQ1 结合遗传算法与梯度下降的分层学习策略，能否提升BBFNN在非线性函数逼近中的性能？
• RQ2 全局与局部优化的结合如何提升BBFNN训练过程中的收敛性与精度？
• RQ3 同时优化贝塔形状因子、中心与宽度对逼近质量有何影响？
• RQ4 所提出的HLABBFNN是否在函数逼近任务中优于标准BBFNN及其他神经网络模型？

主要发现

• 分层学习算法显著提升了BBFNN在非线性函数逼近任务中的逼近精度。
• 遗传算法与基于梯度的优化相结合，相比单独使用任一方法，能实现更快的收敛速度与更优的泛化能力。
• 协调优化贝塔形状因子、中心与宽度，显著增强了网络对复杂非线性关系的建模能力。
• 所提出的HLABBFNN在多个基准非线性函数上表现出稳健性能，优于传统训练方法。