[논문 리뷰] General Regression Neural Networks, Radial Basis Function Neural Networks, Support Vector Machines, and Feedforward Neural Networks

Alison Jenkins, Vinika Gupta외 1명|arXiv (Cornell University)|2019. 11. 16.

Traffic Prediction and Management Techniques참고 문헌 5인용 수 4

한 줄 요약

이 연구는 일반 회귀 신경망(GRNN), 반경 기반 함수 신경망(RBFNN), 서포트 벡터 머신(SVM), 피드포워드 신경망(FFNN)을 비교하여 F1 점수와 정확도를 최대화하는 최적의 σ 값을 규명한다. 이중 레이블링된 데이터셋을 사용하여 GRNN에는 유전 알고리즘, RBFNN의 클러스터링에는 코호넨 LVQ를 적용하고, SVM 및 FFNN 학습에는 scikit-learn을 사용하였다. 그 결과, LVQ-II를 적용한 RBFNN가 F1 점수 0.3726과 정확도 0.2735를 기록하여 비-LVQ 버전보다 뛰어난 성능을 보였다.

ABSTRACT

The aim of this project is to develop a code to discover the optimal sigma value that maximum the F1 score and the optimal sigma value that maximizes the accuracy and to find out if they are the same. Four algorithms which can be used to solve this problem are: Genetic Regression Neural Networks (GRNNs), Radial Based Function (RBF) Neural Networks (RBFNNs), Support Vector Machines (SVMs) and Feedforward Neural Network (FFNNs).

연구 동기 및 목표

• 다양한 기계학습 모델에서 F1 점수를 최대화하는 데 최적의 σ 값을 규명하는 것.
• 분류 정확도를 최대화하는 데 최적의 σ 값을 규명하고, F1 점수 최적화를 위한 σ와 비교하는 것.
• 회귀 문제에서 파생된 이진 레이블링된 데이터셋에서 GRNN, RBFNN, SVM, FFNN의 성능을 평가하는 것.
• 코호넨 비지도 학습과 역전파를 RBFNN에 통합했을 때 모델 성능에 미치는 영향을 평가하는 것.
• 모든 네 알고리즘 간의 통계적 성능 지표인 정확도, 정밀도, 재현율, F1 점수를 비교하는 것.

제안 방법

• 일관된 상태 유전 알고리즘(SSGA)을 사용하여 일반 회귀 신경망(GRNN)의 σ 값을 진화시켰다.
• 코호넨 LVQ-I 및 LVQ-II를 사용하여 클러스터 중심과 폭 최적화를 위한 두 가지 RBFNN 버전을 구현하였다.
• 유클리드 거리 기반으로 비지도 클러스터링을 수행하고, 승자 및 인접 유닛의 가중치를 업데이트하기 위해 LVQ-I를 적용하였다.
• LVQ-II를 사용하여 정확한 분류에는 보상하고 잘못된 분류에는 벌칙을 주는 죄책감 요소를 활용해 클러스터링을 정밀하게 조정하였다.
• scikit-learn을 사용하여 선형 및 반경 기반 함수(RBF) 커널을 적용한 SVM을 훈련하였으며, 훈련 세트 90%와 테스트 세트 10%로 분할하였다.
• 시그모이드 활성화 함수를 사용하고 다양한 σ 값을 적용하여 1, 2, 4개의 은닉층을 가진 피드포워드 신경망(FFNN)을 훈련시켰다.

실험 결과

연구 질문

• RQ1 시험된 모델들에서 F1 점수를 최대화하는 σ 값이 정확도를 최대화하는 σ 값과 다를까?
• RQ2 코호넨 비지도 학습과 역전파를 RBFNN에 통합했을 때 표준 RBFNN 대비 성능에 어떤 영향을 미치는가?
• RQ3 GRNN, RBFNN, SVM, FFNN 중에서 어느 모델이 이진 레이블링된 데이터셋에서 가장 높은 F1 점수와 정확도를 기록하는가?
• RQ4 LVQ 네트워크에서 클러스터 유닛 지배 현상의 영향은 무엇이며, 죄책감 요소는 이 문제를 어떻게 완화하는가?
• RQ5 SVM에서 커널 유형(선형 대 RBF)의 차이는 F1 및 정확도 측면에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 코호넨 비지도 학습과 역전파를 적용한 RBFNN는 F1 점수 0.3726을 기록하여 비-LVQ 버전(0.2342)보다 유의미하게 높은 성능을 보였다.
• LVQ-II를 적용한 RBFNN는 정확도 0.2735를 기록하여 비-LVQ 버전(0.2367)보다 더 우수한 일반화 능력을 보였다.
• 선형 커널을 사용한 SVM(SVM 3)은 F1 점수 0.4643과 정확도 0.4342를 기록하여 모든 다른 모델보다 뛰어난 성능을 보였다.
• GRNN와 EGRNN-I는 유사한 성능를 보였으며, EGRNN-I는 약간 더 높은 정확도(0.4328)와 F1 점수(0.3369)를 기록하였다.
• 피드포워드 신경망(FFNN)은 정확도 0.1293과 F1 점수 0.2986을 기록하여 이 데이터셋에 대해 한계가 있음을 시사하였다.
• F1 점수 최적화와 정확도 최적화를 위한 σ 값은 모든 모델에서 동일하지 않았으며, 이는 두 목표에 대해 별도의 하이퍼파rameter 튜닝이 필요함을 확인시켰다.