[논문 리뷰] Radial basis function kernel optimization for Support Vector Machine classifiers

Karl Thurnhofer‐Hemsi, Ezequiel López‐Rubio외 2명|arXiv (Cornell University)|2020. 07. 16.

Face and Expression Recognition참고 문헌 19인용 수 14

한 줄 요약

이 논문은 반경 기저 함수(RBF) 커널 초매개변수와 SVM 이중 가중치를 교차 기울기 하강을 통해 동시 최적화하는 OKSVM 알고리즘을 제안한다. 초기 γ 값에 관계없이 합성 및 실재 데이터셋에서 표준 SVM보다 뛰어난 성능을 보이며, 뛰어난 분류 정확도와 F1 점수를 보이며 안정적이고 자동화된 초매개변수 튜닝을 입증한다.

ABSTRACT

Support Vector Machines (SVMs) are still one of the most popular and precise classifiers. The Radial Basis Function (RBF) kernel has been used in SVMs to separate among classes with considerable success. However, there is an intrinsic dependence on the initial value of the kernel hyperparameter. In this work, we propose OKSVM, an algorithm that automatically learns the RBF kernel hyperparameter and adjusts the SVM weights simultaneously. The proposed optimization technique is based on a gradient descent method. We analyze the performance of our approach with respect to the classical SVM for classification on synthetic and real data. Experimental results show that OKSVM performs better irrespective of the initial values of the RBF hyperparameter.

연구 동기 및 목표

• SVM 성능이 초기 RBF 커널 초매개변수(γ) 값에 민감한 문제를 해결한다.
• RBF 커널 매개변수와 SVM 이중 가중치를 동시에 최적화하는 자동화된 방법을 개발한다.
• SVM에서 격자 탐색과 무작위 초매개변수 튜닝의 한계를 극복한다.
• 커널 및 모델 매개변수의 동시 최적화 과정에서 안정적이고 신뢰할 수 있는 수렴을 확보한다.
• 표준 SVM과 비교해 다양한 합성 및 실세계 데이터셋에서 뛰어난 성능을 보여준다.

제안 방법

• RBF 커널을 사용한 SVM 이중 최적화 문제를 설정하며, 커널 매개변수 γ를 학습 가능한 초매개변수로 간주한다.
• 두 단계의 기울기 하강을 번갈아 적용한다: 먼저 γ를 고정한 상태에서 라그랑주 승수(α)를 최적화하고, 그 다음 α를 고정한 상태에서 γ를 최적화한다.
• 수렴과 안정성을 보장하기 위해 제어된 스텝 크기를 사용한 기울기 하강을 적용한다.
• RBF 커널 매개변수 γ에 대한 이중 라그랑주안의 기울기를 유도하여 커널 매개변수의 엔드 투 엔드 최적화를 가능하게 한다.
• 커널 행렬이 불안정해질 경우 발산을 방지하기 위한 보호 조치를 마련한다.
• 표준 SVM 파이프라인에 이 방법을 통합하여 격자 탐색이나 교차 검증 루프 없이도 자동 튜닝이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 RBF 커널 초매개변수 γ와 SVM 이중 가중치를 동시에 최적화하면 표준 SVM보다 분류 성능이 향상되는가?
• RQ2 다양한 데이터셋에서 다양한 초기 γ 값에 대해 제안된 방법의 성능은 얼마나 견고한가?
• RQ3 γ와 α에 대한 교차 기울기 하강 방식이 안정적이고 수렴 가능한 최적화를 이끌어내는가?
• RQ4 정확도, F1 점수, AUC 측면에서 전통적인 격자 탐색 기반 튜닝보다 성능이 뛰어나게 되는가?
• RQ5 이 방법은 실세계 분류 응용에서 자동화되고 신뢰할 수 있는 초매개변수 튜닝에 적합한가?

주요 결과

• 모든 합성 데이터셋에서 초기 γ 값에 관계없이 OKSVM은 표준 SVM보다 높은 F1 점수를 기록하여 초기화에 대한 민감성이 없음을 입증한다.
• 워리우드 유방암 데이터셋에서 OKSVM은 평균 F1 점수 0.947을 기록했으며, γ가 최적화된 경우에만 표준 SVM의 0.951보다 높은 성능을 보였다.
• 뱅크노트 신원 확인 데이터셋에서는 OKSVM이 모든 실행에서 완벽한 F1 점수와 AUC 점수(1.000)를 기록했고, 표준 SVM은 최적 튜닝 시 F1 점수 0.991을 기록했다.
• 실제 데이터셋에서 5겹 교차 검증을 수행한 결과, OKSVM은 유방암-워리우드를 제외한 모든 데이터셋에서 최소 한 가지 지표(F1, AUC, 정확도)에서 표준 SVM을 능가했다. 이 경우, 수동 튜닝을 통해 하이퍼파라미터를 조정한 SVM이 약간 더 높은 성능을 보였다.
• 히트맵 결과는 OKSVM이 C와 γ 값의 넓은 범위에서 높은 성능을 유지함을 보여주며, 초기 초매개변수 설정에 민감하지 않음을 시사한다.
• 와인 품질(레드) 데이터셋에서 OKSVM은 AUC 0.785, F1 0.750을 기록하여 표준 SVM의 AUC 0.788, F1 0.749보다 높은 성능을 지속적으로 기록했다.