[논문 리뷰] A Fast and Robust TSVM for Pattern Classification

Bin-Bin Gao, Jianjun Wang|arXiv (Cornell University)|2017. 11. 15.

Face and Expression Recognition참고 문헌 40인용 수 6

한 줄 요약

이 논문은 노이즈에 대한 민감도를 줄이고 좌표 강하 알고리즘을 통해 훈련을 가속화하는 새로운 퍼지 소속 함수를 통합함으로써 분류 성능을 향상시키는 빠르고 강력한 이중 서포트 벡터 머신(FR-TSVM)을 제안한다. 기존의 SVM, FSVM 및 표준 TSVM에 비해 벤치마크 데이터셋에서 더 빠른 수렴 속도와 뛰어난 강성 확보를 달성한다.

ABSTRACT

Twin support vector machine~(TSVM) is a powerful learning algorithm by solving a pair of smaller SVM-type problems. However, there are still some specific issues such as low efficiency and weak robustness when it is faced with some real applications. In this paper, we propose a Fast and Robust TSVM~(FR-TSVM) to deal with the above issues. In order to alleviate the effects of noisy inputs, we propose an effective fuzzy membership function and reformulate the TSVMs such that different input instances can make different contributions to the learning of the separating hyperplanes. To further speed up the training procedure, we develop an efficient coordinate descent algorithm with shirking to solve the involved a pair of quadratic programming problems (QPPs). Moreover, theoretical foundations of the proposed model are analyzed in details. The experimental results on several artificial and benchmark datasets indicate that the FR-TSVM not only obtains a fast learning speed but also shows a robust classification performance. Code has been made available at: https://github.com/gaobb/FR-TSVM.

연구 동기 및 목표

• 이중 SVM의 계산 효율성과 노이즈 데이터에 대한 강성 측면에서의 한계를 해결하기 위해.
• 클러스터의 구조적 근접도를 기반으로 훈련 인스턴스를 다르게 가중하는 퍼지 소속 함수를 개발하기 위해.
• 이중 2차 프로그래밍 문제를 해결하기 위해 효율적인 좌표 강하 알고리즘과 함께 수축 기법을 설계하여 훈련 속도를 가속화하기 위해.
• 제안된 모델의 이론적 타당성과 대규모 패턴 분류에 대한 실용적 확장성을 확보하기 위해.

제안 방법

• 클래스 클러스터까지의 거리 기반으로 값을 할당하는 새로운 퍼지 소속 함수를 제안하여, 서포트 벡터와 아웃라이어를 구분한다.
• 퍼지 소속 함수를 TSVM에 통합하여 노이즈가 있는 인스턴스가 결정 초평면 학습에 기여하는 정도를 줄이는 강력한 최적화 문제를 재구성한다.
• 수축 기법을 통합한 좌표 강하 방법을 사용하여 결과적으로 발생하는 소형 2차 프로그래밍 문제의 쌍을 해결한다.
• 비선형 FR-TSVM에서 가우시안 커널을 사용하고, 고유성과 특이성 회피가 입증된 이중 형식을 유도한다.
• 하이퍼파라미터 $ c_1, c_2, c_3, c_4, \mu, g $를 포함한 파rameter-민감한 설계를 도입하며, $ \mu $는 소속 감도를 제어하고 $ g $는 커널 폭을 조정한다.
• 수치적 안정성과 훈련 속도 향상을 위해 웜스타트 전략과 반복적 좌표 업데이트 규칙을 구현한다.

실험 결과

연구 질문

• RQ1 데이터 적응형 퍼지 소속 함수는 노이즈 인스턴스에 대한 TSVM의 강성 향상에 기여하는가?
• RQ2 퍼지 소속 함수를 TSVM에 통합하면 기존의 표준 SVM 및 TSVM에 비해 훈련 시간을 크게 줄이는가?
• RQ3 기존의 솔버와 비교했을 때 제안된 수축 기반 좌표 강하 방법은 수렴 속도와 메모리 효율성 측면에서 어떻게 비교되는가?
• RQ4 FR-TSVM의 성능는 특히 $ g $와 $ \mu $에 대해 어느 정도 하이퍼파라미터 설정에 민감한가?

주요 결과

• Glass 데이터셋에서 FR-TSVM은 평균 정확도 97.21% ± 3.93을 기록하여 SVM(97.68% ± 3.95)과 FSVM(96.77% ± 4.38)보다 높은 강성과 더 낮은 분산을 확보했다.
• Pima 데이터셋에서 FR-TSVM은 76.17% ± 2.68의 정확도를 기록했으며, TSVM 및 FSVM에 비해 훈련 시간이 크게 단축되었다.
• 13개의 UCI 데이터셋에서의 훈련 시간 분석 결과, FR-TSVM은 TSVM 및 기존의 SVM보다 더 빠르며, 수축 기반 좌표 강하 덕분에 가장 빠른 수렴 속도를 보였다.
• 가우시안 커널을 사용한 비선형 FR-TSVM은 선형 FR-TSVM보다 더 높은 정확도를 달성했으며, Ripleys 합성 데이터와 같이 복잡한 데이터셋에서 특히 두각을 나타냈다.
• 하이퍼파라미터 분석 결과, 커널 파라미터 $ g $와 소속 파라미터 $ \mu $는 성능에 강한 영향을 미치며, 하이퍼파라미터 튜닝에 민감함을 시사했다.
• FR-TSVM은 특히 아웃라이어가 포함된 데이터셋에서 뛰어난 일반화 능력과 노이즈 저항성을 보였으며, 다수의 런에서 정확도의 표준편차가 일관되게 낮게 유지되는 것으로 나타났다.