[논문 리뷰] Minimal Support Vector Machine

Shuai Zheng, Chris Ding|arXiv (Cornell University)|2018. 04. 06.

Face and Expression Recognition참고 문헌 10인용 수 5

한 줄 요약

이 논문은 지지벡터의 수를 최소화하여 분류 정확도를 햖스키는 최소 지지벡터기반 머신러닝(최소 SVM)을 제안한다. 슬랙 변수에 L0.5 노름을 적용하고, 목적함수를 재구성한 후 관성 항을 포함한 경사하강법을 적용함으로써, 표준 SVM에 비해 7개의 이진 분류 작업에서 지지벡터 수가 줄어들고 일반화 성능이 향상된다.

ABSTRACT

Support Vector Machine (SVM) is an efficient classification approach, which finds a hyperplane to separate data from different classes. This hyperplane is determined by support vectors. In existing SVM formulations, the objective function uses L2 norm or L1 norm on slack variables. The number of support vectors is a measure of generalization errors. In this work, we propose a Minimal SVM, which uses L0.5 norm on slack variables. The result model further reduces the number of support vectors and increases the classification performance.

연구 동기 및 목표

• 지지벡터 수를 줄임으로써 보다 우수한 일반화 및 예측 능력을 확보하기 위함.
• 표준 SVM의 지지벡터 수가 페널티 파라미터 C에 민감하지 않은 점을 해결하기 위함.
• 새로운 정규화 방법을 통해 지지벡터 수를 최소화함으로써 분류 정확도를 향상시키기 위함.
• 비볼록 L0.5-노름 기반 목적함수를 효율적으로 해결하기 위한 최적화 알고리즘 개발하기 위함.

제안 방법

• 슬랙 변수에 L0.5 노름을 적용한 새로운 목적함수 제안: min (1/2)||w||² + C Σ ξi^0.5, 제약 조건은 yi(wᵀxi + b) ≥ 1 - ξi 및 ξi ≥ 0.
• 비볼금성인 L0.5 노름을 다루기 위해 스무딩 보조함수를 도입하여 기울기 기반 최적화 가능하게 함.
• 관성 항을 포함한 경사하강법을 적용하여 스무딩된 최적화 문제를 해결함으로써 수렴성과 안정성을 향상시킴.
• 최적화를 단순화하고 수치적 안정성을 유지하기 위해 변수 변환(w′ 및 x′)을 사용함.
• 라그랑주 이중성과 KKT 조건을 활용해 이중형식과 w, b 갱신 규칙을 유도함.
• 반복적 알고리즘을 통해 원형 문제를 효율적으로 해결하기 위해 관성 항을 포함한 알고리즘(Eq. 27–28)을 구현함.

실험 결과

연구 질문

• RQ1 슬랙 변수에 L0.5 노름을 적용할 경우, 표준 L1 또는 L2 노름 대비 지지벡터 수가 유의미하게 감소하는가?
• RQ2 L0.5 정규화를 통해 지지벡터 수를 줄임으로써 분류 정확도가 향상되는가?
• RQ3 제안된 최소 SVM에서 지지벡터 수가 페널티 파라미터 C에 얼마나 민감한가? 표준 SVM과 비교하여?
• RQ4 비볼금 L0.5-노름 기반 목적함수를 위한 효율적인 최적화 알고리즘을 개발할 수 있는가?

주요 결과

• 최소 SVM는 7개의 이진 분류 작업 평균적으로 표준 SVM 대비 지지벡터 수를 40% 감소시켰다.
• MSRC 데이터셋에서 최소 SVM는 지지벡터를 38.20에서 22.40으로 줄였고, 테스트 정확도는 0.67에서 0.72로 향상되었다.
• ATT 데이터셋에서 지지벡터는 11.00에서 2.00으로 감소했고, 테스트 정확도는 0.85에서 0.90으로 상승했다.
• 모든 경우에서 표준 SVM와 최소 SVM의 가중치 벡터 간의 각도는 7도 이하였으며, 이는 유사하지만 다소 다른 결론 경계를 나타낸다.
• 가중치 벡터 간의 정규화된 유클리드 거리는 0.15 이하였으며, 지지벡터 수의 차이가 있음에도 불구하고 파rameter 공간에서 모델들이 유사함을 보여준다.
• 알고리즘 1은 모든 네 개의 데이터셋에서 50회 이내에 수렴하여 제안된 최적화 방법의 빠른 수렴성을 입증했다.