[논문 리뷰] Optimizing Cost-Sensitive SVM for Imbalanced Data :Connecting Cluster to Classification

Qiuyan Yan, Shixiong Xia외 1명|arXiv (Cornell University)|2017. 02. 06.

Imbalanced Data Classification Techniques참고 문헌 9인용 수 7

한 줄 요약

이 논문은 유사도 행렬과 하이퍼파rameter로부터 추정한 군집 확률 밀도 함수를 사용해 페널티 파라미터 C를 최적화하는 cost-sensitive SVM 방법인 PCS-SVM을 제안한다. 이는 불균형 데이터에서 소수 클래스 탐지 성능을 향상시키며, 기존의 전통적인 cost-sensitive 및 하이브리드 방법들을 능가하여 실제 쐐기 및 가스 폭발 모니터링 데이터에서 99.35%의 민감도를 달성한다.

ABSTRACT

Class imbalance is one of the challenging problems for machine learning in many real-world applications, such as coal and gas burst accident monitoring: the burst premonition data is extreme smaller than the normal data, however, which is the highlight we truly focus on. Cost-sensitive adjustment approach is a typical algorithm-level method resisting the data set imbalance. For SVMs classifier, which is modified to incorporate varying penalty parameter(C) for each of considered groups of examples. However, the C value is determined empirically, or is calculated according to the evaluation metric, which need to be computed iteratively and time consuming. This paper presents a novel cost-sensitive SVM method whose penalty parameter C optimized on the basis of cluster probability density function(PDF) and the cluster PDF is estimated only according to similarity matrix and some predefined hyper-parameters. Experimental results on various standard benchmark data sets and real-world data with different ratios of imbalance show that the proposed method is effective in comparison with commonly used cost-sensitive techniques.

연구 동기 및 목표

• 소수 전조 데이터가 극히 드물지만 핵심적인 실제 응용 분야인 쐐기 및 가스 폭발 모니터링에서의 클래스 불균형 문제를 해결한다.
• 비용 감수성 SVM에서 경험적 또는 반복적인 C값 선택 방식의 한계를 극복하며, 이는 시간 소모가 크고 이론적 기반을 갖추지 못한다.
• 유사도 행렬에서 유도한 확률 밀도 추정을 통해 군집 구조를 활용하여 소수 클래스 분류 성능을 향상시킨다.
• 임의의 임계값이 아닌 군집 확률에 기반해 C를 최적화하여 결함이 있는 결정 경계를 다수 클래스 측면으로 이동시킨다.
• 표준 벤치마크와 실세계 불균형 데이터셋 모두에서 뛰어난 성능을 보이며, 특히 민감도 및 G-mean 지표에서 뛰어난 성능을 입증한다.

제안 방법

• 유사도 행렬과 사전 정의된 하이퍼파rameter만을 사용하여 군집 확률 밀도 함수(PDF)를 추정하며, 복잡한 밀도 추정을 피한다.
• 양성 및 음성 클래스에 대해 별도의 C+ 및 C− 파라미터를 사용하는 수정된 이중 라그랑주 최적화를 도입하며, C+는 군집 PDF에 기반해 최적화된다.
• SMO 알고리즘을 재구성하여 알파 업데이트 규칙에 군집 확률을 통합함으로써 지지 벡터 간의 유사도와 그들의 군집 가능성 간의 관계를 연결한다.
• 오분류된 양성 클래스 지지 벡터(음성으로 잘못 분류된 양성 클래스)를 식별하고, 군집 확률에 기반해 재분류함으로써 결정 경계를 다수 클래스 측면으로 이동시킨다.
• 하이브리드 PCS-SMOTE-SVM에서 다항 커널과 SMOTE 오버샘플링을 사용하여 소수 클래스의 표현력과 성능을 추가로 향상시킨다.
• 양성 클래스 군집의 확률 밀도를 최대화함으로써 C+를 최적화하여, 초평면이 소수 클래스 탐지에 유리하도록 조정되도록 보장한다.

실험 결과

연구 질문

• RQ1 유사도 행렬에서 추출한 군집 확률 밀도 추정이 SVM의 비용 감수성 파라미터 설정에 대해 원칙적이고 반복적인 방법이 아닌가?
• RQ2 군집 PDF에 기반해 C를 최적화하는 것이 경험적 또는 지표 기반의 C 선택 방식에 비해 소수 클래스 탐지 성능에서 어떻게 비교되는가?
• RQ3 제안된 PCS-SVM 방법이 쐐기 및 가스 폭발 모니터링과 같은 극도로 불균형한 실세계 데이터에서 민감도 및 G-mean 지표에서 얼마나 향상되는가?
• RQ4 PCS-SVM을 SMOTE와 조합한 PCS-SMOTE-SVM이 독립적인 비용 감수성 또는 샘플링 기반 방법보다 더 뛰어난 성능을 보이는가?
• RQ5 군집 기반 C 최적화가 반복적인 하이퍼파rameter 튜닝의 필요성을 줄일 수 있는가, 동시에 분류 정확도를 유지하거나 향상시키는가?

주요 결과

• PCS-SVM는 실제 쐐기 및 가스 폭발 전자기 모니터링 데이터셋에서 99.35%의 민감도를 기록하여 SVM(2.11%) 및 CS-SVM(65.99%)를 크게 능가했다.
• PCS-SMOTE-SVM는 AUC 0.7770을 기록하여 SMOTE-SVM(AUC 0.4816) 대비 29.54% 향상되었으며, 불균형 데이터에서 강력한 일반화 성능을 입증했다.
• 표준 기준 벤치마크 데이터셋에서 PCS-SVM는 모든 알고리즘 수준의 비용 감수성 방법을 능가했으며, SVM-RUS와 같은 하이브리드 방법과 비교해도 G-mean 및 F-measure에서 동등하거나 슈퍼어리어를 기록했다.
• 다양한 커널에 대해 뛰어난 안정성을 보였으며, 평균 평가 지표에서 다항 커널과 RBF 커널 간에 유의미한 성능 차이가 없었다.
• PCS-SVM는 알고리즘 수준의 방법 중 평균 F-measure 및 G-mean가 가장 높았으며, 총 16개 데이터셋 중 8개에서 평균 평가 지표 3개에서 승리했다.
• 군집 PDF 기반 C 최적화를 통해 반복 튜닝 없이도 효과적인 경계 이동이 가능했으며, 계산 비용을 줄이면서도 소수 클래스 탐지 성능이 향상되었다.