[論文レビュー] m-arcsinh: An Efficient and Reliable Function for SVM and MLP in scikit-learn

Luca Parisi|arXiv (Cornell University)|Sep 16, 2020

Neural Networks and Applications参考文献 1被引用数 9

ひとこと要約

本稿では、scikit-learnにおけるサポートベクターマシン（SVM）のための効率的で信頼性の高いカーネル関数およびマルチレイヤーパーセプトロン（MLP）のための活性化関数としてのm-arcsinhを紹介する。15のデータセットで評価された結果、標準関数と比較して収束が速く、安定性に優れるため、分類性能においても競争力を持つことが示された。

ABSTRACT

This paper describes the 'm-arcsinh', a modified ('m-') version of the inverse hyperbolic sine function ('arcsinh'). Kernel and activation functions enable Machine Learning (ML)-based algorithms, such as Support Vector Machine (SVM) and Multi-Layer Perceptron (MLP), to learn from data in a supervised manner. m-arcsinh, implemented in the open source Python library 'scikit-learn', is hereby presented as an efficient and reliable kernel and activation function for SVM and MLP respectively. Improvements in reliability and speed to convergence in classification tasks on fifteen (N = 15) datasets available from scikit-learn and the University California Irvine (UCI) Machine Learning repository are discussed. Experimental results demonstrate the overall competitive classification performance of both SVM and MLP, achieved via the proposed function. This function is compared to gold standard kernel and activation functions, demonstrating its overall competitive reliability regardless of the complexity of the classification tasks involved.

研究の動機と目的

• SVMおよびMLP分類器におけるscikit-learnにおけるカーネル関数および活性化関数の限られた可用性と信頼性の問題に対処すること。
• 既存の標準関数における局所最適解への陥落や関数の不安定な挙動に起因する収束が遅いか、失敗するという課題を克服すること。
• SVMのカーネル関数およびMLPの活性化関数として効果的に機能できる1つの数学的関数を設計し、異なるアルゴリズム間の互換性を向上させること。
• scikit-learnおよびUCI機械学習レポジトリの多様な実世界のデータセットを対象として、学習効率および分類性能を向上させること。
• 学術的および産業的機械学習応用に広く適用可能なオープンソースで自由に利用可能な関数を提供すること。

提案手法

• m-arcsinh関数は、数値的安定性および勾配の流れの改善を目的として、逆双曲正弦関数（arcsinh）の変更版として導出された。
• この関数はscikit-learnライブラリに直接実装されており、SVC（SVM）およびMLPClassifierクラスの両方をサポートしている。
• 関数の評価には、scikit-learnおよびUCI機械学習レポジトリの15のベンチマークデータセットが使用され、多様な分類タスクをカバーしている。
• RBF、線形、多項式、シグモイド、ReLU、tanh、ロジスティックといったゴールドスタンダード関数と性能を比較した。
• 主な指標には、学習時間、正解率、加重適合率、再現率、F1スコアが含まれており、複数の分類器およびデータセットで結果が報告された。
• 最適化されていないおよびベースライン設定の両方で関数をテストし、頑健性および収束速度を評価した。

実験結果

リサーチクエスチョン

• RQ1 m-arcsinhは、同じ機械学習フレームワーク内において、SVMのための信頼性の高い効率的カーネル関数およびMLPのための活性化関数として機能できるか？
• RQ2 m-arcsinhは、収束速度および分類精度の観点で、標準的なカーネル関数および活性化関数と比較してどのように異なるか？
• RQ3 m-arcsinhは、従来の関数と比較して、学習中に局所最適解に陥るリスクを低減するか？
• RQ4 m-arcsinhは、複雑さや特徴分布が異なる多様な実世界のデータセットにおいて、競争力のある性能を達成できるか？
• RQ5 m-arcsinhは、学術的および産業的機械学習応用における実用的導入に耐える十分な計算効率および安定性を有しているか？

主な発見

• 「Olivetti face」データセットでは、m-arcsinhはSVMで91％の正解率を達成し、学習時間は0.143秒であった。これはRBFカーネル（31％）を上回り、線形カーネル（99％）と同等の速度であった。
• 「ペン入力による手書き数字」データセットでは、m-arcsinhはMLPで99％の正解率を達成し、学習時間は17.736秒であった。ReLUおよびtanhと同等の性能を示し、より安定性に優れた。
• 「Wireless Indoor Localization」データセットでは、m-arcsinhはSVMおよびMLPの両方で99％の正解率を達成し、最小限の学習時間（SVMで0.022秒、MLPで5.870秒）で実現した。シグモイドカーネル（21％）を大きく上回った。
• 「Breast Cancer Coimbra」データセットでは、m-arcsinhはSVMで71％、MLPで46％の正解率を達成し、シグモイドカーネル（それぞれ46％および29％）を顕著に上回り、信頼性の向上が示された。
• すべてのデータセットにおいて、m-arcsinhは一貫した性能を示し、収束が速く、特に複雑または高次元の設定において局所最適解への陥落リスクが低減された。
• m-arcsinh関数は、計算的に効率的で、安定的かつ広く適用可能であり、SVMおよびMLPの両フレームワークにおいてゴールドスタンダード関数の強力な代替手段であることが判明した。