[논문 리뷰] m-arcsinh: An Efficient and Reliable Function for SVM and MLP in scikit-learn

Luca Parisi|arXiv (Cornell University)|2020. 09. 16.

Neural Networks and Applications참고 문헌 1인용 수 9

한 줄 요약

이 논문은 scikit-learn에서 서포트 벡터 머신(SVM)을 위한 효율적이고 신뢰할 수 있는 커널 함수이자 다층 퍼셉트론(MLP)을 위한 활성화 함수로 사용할 수 있는 수정된 역 hyperbolic sine 함수인 m-arcsinh을 소개한다. 15개의 데이터셋에서 평가된 결과, 표준 함수들과 비교해 더 빠른 수렴 속도와 향상된 안정성을 보이며 경쟁 가능한 분류 성능를 달성하여 다양한 머신러닝 작업에 적합함을 입증한다.

ABSTRACT

This paper describes the 'm-arcsinh', a modified ('m-') version of the inverse hyperbolic sine function ('arcsinh'). Kernel and activation functions enable Machine Learning (ML)-based algorithms, such as Support Vector Machine (SVM) and Multi-Layer Perceptron (MLP), to learn from data in a supervised manner. m-arcsinh, implemented in the open source Python library 'scikit-learn', is hereby presented as an efficient and reliable kernel and activation function for SVM and MLP respectively. Improvements in reliability and speed to convergence in classification tasks on fifteen (N = 15) datasets available from scikit-learn and the University California Irvine (UCI) Machine Learning repository are discussed. Experimental results demonstrate the overall competitive classification performance of both SVM and MLP, achieved via the proposed function. This function is compared to gold standard kernel and activation functions, demonstrating its overall competitive reliability regardless of the complexity of the classification tasks involved.

연구 동기 및 목표

• 서포트 벡터 머신(SVM) 및 다층 퍼셉트론(MLP) 분류기에서 사용 가능한 커널 및 활성화 함수의 가용성과 신뢰성 부족 문제를 해결하기 위해.
• 기존 표준 함수의 국소 최소값에 갇히거나 함수 행동이 불안정해지는 문제로 인한 느린 수렴 또는 실패 문제를 극복하기 위해.
• SVM을 위한 커널로도, MLP를 위한 활성화 함수로도 효과적으로 기능할 수 있는 단일 수학적 함수를 개발하여 알고리즘 간 호환성을 향상시키기 위해.
• scikit-learn 및 UCI 머신러닝 레포지토리의 다양한 실제 데이터셋에서 학습 효율성과 분류 성능을 향상시키기 위해.
• 학술 및 산업 분야의 머신러닝 응용 분야에 널리 활용 가능한 오픈소스이자 무료로 이용 가능한 함수를 제공하기 위해.

제안 방법

• m-arcsinh 함수는 수치 안정성과 기울기 흐름을 향상시키기 위해 수정된 역 hyperbolic sine(arcsinh) 함수를 기반으로 유도되었다.
• 이 함수는 scikit-learn 라이브러리 내부에 직접 구현되어 SVC(SVM) 및 MLPClassifier 클래스 모두를 지원한다.
• 15개의 벤치마크 데이터셋이 scikit-learn 및 UCI 머신러닝 레포지토리에서 선택되어 다양한 분류 작업을 다루도록 평가되었다.
• 표준 커널 및 활성화 함수인 RBF, 선형, 다항식, 시그모이드, ReLU, tanh, 로지스틱과의 성능 비교가 이루어졌다.
• 주요 평가 지표로는 학습 시간, 정확도, 가중 평균 정밀도, 재현율, F1 점수이며, 여러 분류기 및 데이터셋에 걸쳐 결과가 보고되었다.
• 최적화되지 않은 설정과 기본 설정 모두에서 테스트하여 안정성과 수렴 속도를 평가하였다.

실험 결과

연구 질문

• RQ1 m-arcsinh는 동일한 머신러닝 프레임워크 내에서 SVM을 위한 신뢰할 수 있고 효율적인 커널 함수이자 MLP를 위한 활성화 함수로 기능할 수 있는가?
• RQ2 m-arcsinh는 수렴 속도와 분류 정확도 면에서 표준 커널 및 활성화 함수와 비교해 어떻게 성능을 내는가?
• RQ3 기존 함수들과 비교해 m-arcsinh는 학습 중 국소 최소값에 갇힐 위험을 줄이는가?
• RQ4 m-arcsinh는 복잡도와 특성 분포가 다양한 실제 세계 데이터셋에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 m-arcsinh는 학술 및 산업 분야의 머신러닝 응용 분야에서 실용적인 구현에 충분히 계산 효율성과 안정성을 갖추고 있는가?

주요 결과

• Olivetti faces 데이터셋에서 m-arcsinh는 SVM을 사용해 91%의 정확도를 기록했으며 학습 시간은 0.143초였다. RBF 커널(31% 정확도)을 뛰어넘었고 선형 커널(99% 정확도)과 동일한 속도를 기록했다.
• Pen-based handwritten digits 데이터셋에서 m-arcsinh는 MLP를 사용해 99%의 정확도를 기록했으며 학습 시간은 17.736초였다. ReLU 및 tanh와 동일한 성능를 보였고, 더 뛰어난 안정성을 확보했다.
• Wireless Indoor Localization 데이터셋에서 m-arcsinh는 SVM과 MLP 모두 99%의 정확도를 기록했으며 최소한의 학습 시간(0.022초, SVM; 5.870초, MLP)을 기록했고, 시그모이드 커널(21% 정확도)을 뛰어넘었다.
• Breast Cancer Coimbra 데이터셋에서 m-arcsinh는 SVM로 71%의 정확도, MLP로 46%의 정확도를 기록했으며, 시그모이드 커널(각각 46% 및 29% 정확도)보다 뚜렷하게 뛰어난 신뢰성을 보였다.
• 모든 데이터셋에서 m-arcsinh는 빠른 수렴과 국소 최소값에 갇힐 위험 감소를 보이며 일관된 성능를 나타내었으며, 특히 복잡하거나 고차원적인 환경에서 두드러졌다.
• m-arcsinh 함수는 계산 효율성이 뛰어나고 안정적이며 광범위하게 적용 가능하여, SVM 및 MLP 프레임워크에서 표준 기준 함수에 비해 강력한 대안으로 평가되었다.