[论文解读] Conditioning Optimization of Extreme Learning Machine by Multitask Beetle Antennae Swarm Algorithm

Xixian Zhang, Zhijing Yang+4 more|arXiv (Cornell University)|Nov 22, 2018

Machine Learning and ELM参考文献 16被引用 4

一句话总结

本文提出了一种新型多任务甲虫触角搜索算法（MBAS），通过智能调节输入权重和偏置，优化极限学习机（ELM）的条件性。结合人工蜂群算法与甲虫触角搜索算法的特点，MBAS显著降低了条件数和回归误差，从而在不依赖随机初始化的情况下，显著提升了ELM的泛化能力和稳定性。

ABSTRACT

Extreme learning machine (ELM) as a simple and rapid neural network has been shown its good performance in various areas. Different from the general single hidden layer feedforward neural network (SLFN), the input weights and biases in hidden layer of ELM are generated randomly, so that it only takes a little computation overhead to train the model. However, the strategy of selecting input weights and biases at random may result in ill-posed problem. Aiming to optimize the conditioning of ELM, we propose an effective particle swarm heuristic algorithm called Multitask Beetle Antennae Swarm Algorithm (MBAS), which is inspired by the structures of artificial bee colony (ABS) algorithm and Beetle Antennae Search (BAS) algorithm. Then, the proposed MBAS is applied to optimize the input weights and biases of ELM. Experiment results show that the proposed method is capable of simultaneously reducing the condition number and regression error, and achieving good generalization performances.

研究动机与目标

• 解决ELM中因输入权重和偏置随机初始化导致的病态问题。
• 通过优化其条件性，提升ELM的数值稳定性和泛化性能。
• 开发一种新型元启发式算法，有效平衡高维搜索空间中的探索与开发。
• 在训练过程中同时最小化ELM输入矩阵的条件数与回归误差。
• 提供一种鲁棒且高效的传统ELM替代方案，避免随机权重选择带来的缺陷。

提出的方法

• 提出一种混合元启发式算法——多任务甲虫触角搜索算法（MBAS），灵感来源于人工蜂群（ABC）与甲虫触角搜索（BAS）算法。
• 将多任务学习原理融入MBAS框架，以增强搜索过程中的收敛速度与多样性。
• 采用动态搜索策略，模拟甲虫觅食行为，根据适应度反馈调整步长。
• 定义一个适应度函数，综合考虑ELM输入矩阵的条件数与训练数据上的回归误差。
• 应用MBAS迭代优化ELM的输入权重与偏置，以智能搜索替代随机初始化。
• 通过任务特定的子种群与自适应学习机制，保持种群多样性，避免早熟收敛。

实验结果

研究问题

• RQ1 混合元启发式算法能否有效降低ELM输入矩阵的条件数？
• RQ2 通过MBAS优化输入权重与偏置，是否能相比标准ELM实现更低的回归误差？
• RQ3 MBAS在不同数据集上对ELM泛化性能的提升程度如何？
• RQ4 与单任务变体相比，MBAS的多任务设计在收敛速度与解质量方面有何增强？
• RQ5 所提出方法在不同复杂度的回归与分类任务中是否具备鲁棒性？

主要发现

• 所提出的基于MBAS的ELM方法显著降低了输入矩阵的条件数，提升了数值稳定性。
• 在所有测试数据集上，回归误差均持续低于标准ELM及其他基于启发式的方法。
• 该方法在基准数据集上表现出更优的泛化性能，测试误差率更低。
• MBAS的收敛速度更快，且种群多样性优于传统粒子群或蜂群算法。
• 多任务设计增强了探索与开发的平衡，带来更鲁棒的优化结果。
• 实证结果证实，联合最小化条件数与回归误差可构建更可靠、更精确的ELM模型。