[论文解读] m-arcsinh: An Efficient and Reliable Function for SVM and MLP in scikit-learn

Luca Parisi|arXiv (Cornell University)|Sep 16, 2020

Neural Networks and Applications参考文献 1被引用 9

一句话总结

本文提出了 m-arcsinh，一种经过改进的反双曲正弦函数，可作为支持向量机（SVM）的高效可靠核函数以及多层感知机（MLP）的激活函数，适用于 scikit-learn。在 15 个数据集上的评估表明，与标准函数相比，m-arcsinh 在收敛速度和稳定性方面表现更优，分类性能具有竞争力，证明其在各类机器学习任务中的适用性。

ABSTRACT

This paper describes the 'm-arcsinh', a modified ('m-') version of the inverse hyperbolic sine function ('arcsinh'). Kernel and activation functions enable Machine Learning (ML)-based algorithms, such as Support Vector Machine (SVM) and Multi-Layer Perceptron (MLP), to learn from data in a supervised manner. m-arcsinh, implemented in the open source Python library 'scikit-learn', is hereby presented as an efficient and reliable kernel and activation function for SVM and MLP respectively. Improvements in reliability and speed to convergence in classification tasks on fifteen (N = 15) datasets available from scikit-learn and the University California Irvine (UCI) Machine Learning repository are discussed. Experimental results demonstrate the overall competitive classification performance of both SVM and MLP, achieved via the proposed function. This function is compared to gold standard kernel and activation functions, demonstrating its overall competitive reliability regardless of the complexity of the classification tasks involved.

研究动机与目标

• 解决当前 scikit-learn 中用于 SVM 和 MLP 分类器的核函数与激活函数选择有限且不可靠的问题。
• 克服现有标准函数因局部极小值和不稳定函数行为导致的收敛缓慢或失败的问题。
• 开发一种单一数学函数，可同时有效用作 SVM 的核函数和 MLP 的激活函数，提升跨算法的兼容性。
• 在来自 scikit-learn 和 UCI 机器学习存储库的多样化真实世界数据集上，提升训练效率和分类性能。
• 提供一种开源、免费可用的函数，适用于学术界和工业界机器学习应用中的广泛场景。

提出的方法

• m-arcsinh 函数是作为反双曲正弦（arcsinh）函数的改进版本推导而来，旨在提升数值稳定性和梯度流动。
• 该函数直接实现在 scikit-learn 库中，支持 SVC（SVM）和 MLPClassifier 类。
• 使用来自 scikit-learn 和 UCI 机器学习存储库的 15 个基准数据集对函数进行评估，涵盖多样化的分类任务。
• 性能与行业标准核函数和激活函数（包括 RBF、线性、多项式、Sigmoid、ReLU、tanh 和逻辑函数）进行对比。
• 关键指标包括训练时间、准确率、加权精确率、召回率和 F1 分数，结果在多个分类器和数据集上报告。
• 在非优化和基线配置下对函数进行测试，以评估其鲁棒性和收敛速度。

实验结果

研究问题

• RQ1 m-arcsinh 是否能在同一机器学习框架中作为 SVM 的可靠高效核函数和 MLP 的激活函数？
• RQ2 与标准核函数和激活函数相比，m-arcsinh 在收敛速度和分类准确率方面表现如何？
• RQ3 与传统函数相比，m-arcsinh 是否能降低训练过程中陷入局部极小值的风险？
• RQ4 m-arcsinh 是否能在复杂度和特征分布各异的真实世界数据集上实现具有竞争力的性能？
• RQ5 m-arcsinh 是否具备足够的计算效率和稳定性，适用于学术界和工业界机器学习应用的实际部署？

主要发现

• 在 'Olivetti 人脸' 数据集上，m-arcsinh 使 SVM 达到 91% 的准确率，训练时间仅 0.143 秒，优于 RBF 核函数（31% 准确率），且在速度上与线性核函数（99% 准确率）相当。
• 在 '笔迹数字识别' 数据集上，m-arcsinh 使 MLP 达到 99% 的准确率，训练时间为 17.736 秒，性能与 ReLU 和 tanh 相当，但更加稳定。
• 在 '无线室内定位' 数据集上，m-arcsinh 使 SVM 和 MLP 均达到 99% 的准确率，训练时间极短（SVM 为 0.022 秒，MLP 为 5.870 秒），显著优于 Sigmoid 核函数（21% 准确率）。
• 在 '乳腺癌科英布拉' 数据集上，m-arcsinh 使 SVM 达到 71% 的准确率，MLP 达到 46%，显著优于 Sigmoid 核函数（分别为 46% 和 29%），展现出更高的可靠性。
• 在所有数据集上，m-arcsinh 表现出一致的性能，收敛更快，且在复杂或高维设置中显著降低了陷入局部极小值的风险。
• m-arcsinh 被发现计算效率高、稳定性强，适用范围广，是 SVM 和 MLP 框架中行业标准函数的有力替代方案。