[논문 리뷰] General Scaled Support Vector Machines

Xin Liu, Ying Ding외 1명|arXiv (Cornell University)|2010. 09. 27.

Face and Expression Recognition참고 문헌 13인용 수 4

한 줄 요약

이 논문은 일반화 성능을 향상시키기 위해 C-SVM에 전역 데이터 분포 정보를 통합하는 새로운 방법인 일반화 스케일드 서포트 벡터 머신(GS-SVM)을 제안한다. 이 방법은 초평면을 법선 벡터 방향으로 이동시켜 결정 경계를 더 작은 투영 스케일을 가진 클래스 쪽으로 이동시킴으로써 성능을 향상시킨다. GS-SVM은 합성 및 실제 데이터셋 모두에서 C-SVM보다 높은 정확도를 달성하며, 특히 'spect' 데이터셋에서 C 값이 낮을 때 1.5% 향상된 성능을 보였다.

ABSTRACT

Support Vector Machines (SVMs) are popular tools for data mining tasks such as classification, regression, and density estimation. However, original SVM (C-SVM) only considers local information of data points on or over the margin. Therefore, C-SVM loses robustness. To solve this problem, one approach is to translate (i.e., to move without rotation or change of shape) the hyperplane according to the distribution of the entire data. But existing work can only be applied for 1-D case. In this paper, we propose a simple and efficient method called General Scaled SVM (GS-SVM) to extend the existing approach to multi-dimensional case. Our method translates the hyperplane according to the distribution of data projected on the normal vector of the hyperplane. Compared with C-SVM, GS-SVM has better performance on several data sets.

연구 동기 및 목표

• C-SVM가 지지 벡터에만 의존하고 전역 데이터 분포를 忽시한다는 강건성의 한계를 해결하기 위해.
• 펑의 1차원 스케일드 SVM 방법을 초평면 이동 원리를 일반화하여 다차원 데이터로 확장하기 위해.
• 결정 경계에 국소 정보(지지 벡터)와 전역 정보(투영된 데이터 스케일)를 모두 통합하여 일반화 성능을 향상시키기 위해.
• 클래스 분산 투영 기반의 초평면 이동이 더 낮은 C 값에서 더 높은 분류 정확도를 달성함을 보여주기 위해.

제안 방법

• 초기 초평면을 정의하는 가중치 벡터 w와 편향 b를 가지는 표준 C-SVM을 학습한다.
• 모든 데이터 포인트를 초평면의 법선 벡터에 투영하여 각 클래스의 이 방향에 대한 분포 스케일(범위)을 추정한다.
• 펑의 1차원 스케일드 SVM 원리를 적용하여 두 클래스 간 투영 스케일 비율에 기반해 이동 오프셋 Δ를 계산한다.
• 초평면을 법선 방향으로 Δ만큼 이동시키며, 편향 항목 b를 b + Δ로 조정함으로써 초평면의 방향을 유지한다.
• 커널 기법을 사용하여 비선형 특성 공간으로의 확장을 가능하게 하며, 변환된 공간에서도 동일한 이동 논리를 유지한다.
• 10겹 교차검증을 통해 펜alty 파rameter C를 튜닝하고, 선형 및 가우시안 커널 모두에서 GS-SVM의 성능을 C-SVM과 비교한다.

실험 결과

연구 질문

• RQ1 전역 데이터 분포 기반의 초평면 이동이 다차원 공간에서 C-SVM의 일반화 성능을 향상시키는가?
• RQ2 투영 스케일이 작은 클래스 쪽으로 초평면을 이동시키는 것이 분류 정확도와 마진 최적화에 어떤 영향을 미치는가?
• RQ3 GS-SVM이 C-SVM보다 더 낮은 C 값에서 더 높은 성능을 달성하는가? 이는 구조적 리스크 최소화의 향상 여부를 시사한다.
• RQ4 GS-SVM이 다양한 실제 데이터셋과 다양한 커널 유형에서 C-SVM을 얼마나 뛰어나게 성능을 높이는가?

주요 결과

• 2D 토이 데이터셋에서 GS-SVM은 97.5%의 분류 정확도를 달성하여 C-SVM의 96.67%를 뛰어넘었으며, 추가로 두 개의 포인트를 올바르게 분류하였다.
• UCI 'sonar' 데이터셋에서 선형 커널을 사용할 경우 GS-SVM은 정확도를 C-SVM의 73.72%에서 75.10%로 향상시켰고, 가우시안 커널을 사용할 경우 88.47%에서 89.87%로 상승하였다.
• 'hepatitis' 데이터셋에서 GS-SVM은 가우시안 커널을 사용해 84.54%의 정확도를 기록했고, C-SVM은 83.28%를 기록하여 일관된 향상을 보였다.
• 8개의 벤치마크 데이터셋 중 7개에서 GS-SVM이 C-SVM보다 높은 정확도를 기록했으며, 나머지 하나의 데이터셋에서도 성능 저하 없이 안정적인 성능을 보였다.
• 이 방법은 더 낮은 C 값에서도 높은 정확도를 달성할 수 있었으며, 이는 이동 오프셋 Δ가 높은 페널티 정규화의 필요성을 감소시킴을 시사한다.