[논문 리뷰] Cost-Sensitive Support Vector Machines

Hamed Masnadi-Shirazi, Nuno Vasconcelos외 1명|arXiv (Cornell University)|2012. 12. 05.

Imbalanced Data Classification Techniques참고 문헌 42인용 수 27

한 줄 요약

이 논문은 계층별 오분류 비용을 통합하는 데 일반화된 허프만 손실을 포함하는 Cost-Sensitive Support Vector Machines(CS-SVM)를 제안한다. Bayes-일致성이고 비용에 민감한 위험을 최소화하는 방식으로 CS-SVM를 유도함으로써, 비대칭 비용 하에서 최적의 결정 경계를 확보하고, 철저한 이중성 및 정규화 분석을 통해 불균형 및 비용 민감한 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

A new procedure for learning cost-sensitive SVM(CS-SVM) classifiers is proposed. The SVM hinge loss is extended to the cost sensitive setting, and the CS-SVM is derived as the minimizer of the associated risk. The extension of the hinge loss draws on recent connections between risk minimization and probability elicitation. These connections are generalized to cost-sensitive classification, in a manner that guarantees consistency with the cost-sensitive Bayes risk, and associated Bayes decision rule. This ensures that optimal decision rules, under the new hinge loss, implement the Bayes-optimal cost-sensitive classification boundary. Minimization of the new hinge loss is shown to be a generalization of the classic SVM optimization problem, and can be solved by identical procedures. The dual problem of CS-SVM is carefully scrutinized by means of regularization theory and sensitivity analysis and the CS-SVM algorithm is substantiated. The proposed algorithm is also extended to cost-sensitive learning with example dependent costs. The minimum cost sensitive risk is proposed as the performance measure and is connected to ROC analysis through vector optimization. The resulting algorithm avoids the shortcomings of previous approaches to cost-sensitive SVM design, and is shown to have superior experimental performance on a large number of cost sensitive and imbalanced datasets.

연구 동기 및 목표

• 불균형 클래스 또는 이질적인 오분류 비용이 존재하는 상황에서 SVM에 대한 원칙적인 비용 민감한 확장이 부족한 문제를 해결하기 위해.
• 기존 방법들인 경계 이동과 편향된 보상의 한계를 극복하여, 비용 민감한 제약 조건 하에서 초평면과 임계값을 동시에 최적화하지 못하는 문제를 해결하기 위해.
• 표준 허프만 손실을 일반화하여 비용 민감한 학습을 지원할 수 있는 이론적으로 탄탄한 손실 함수를 개발하기 위해.
• 결과적으로 생성된 분류기가 비대칭 비용 하에서 Bayes 최적의 비용 민감한 위험을 최소화하도록 보장하여, 비대칭 비용 하에서 의사결정 이론과 일치시키기 위해.
• 예제별 비용에 대한 통합 프레임워크를 제공하고, ROC 분석을 통한 벡터 최적화를 통해 성능를 연결하기 위해.

제안 방법

• 위험 최소화와 확률 추출 간의 최근 연결 고리를 활용하여 표준 SVM의 허프만 손실을 비용 민감한 형태로 일반화한다.
• 고전적 SVM 최적화 문제를 일반화한 새로운 Bayes-일치성 위험 함수의 최소화자로서 CS-SVM를 유도한다.
• 이중 문제에 정규화 이론과 민감도 분석을 적용하여 이론적 일致성과 강건성을 확보한다.
• 양성 및 음성 클래스의 보상이 각각 $ C_1 $ 및 $ C_{-1} $로 스케일링된 클래스별 비용 가중치를 가진 수정된 허프만 손실을 도입한다.
• 켤레 이중성(conjugate duality)을 활용하여 이중 최적화 문제를 유도하고, 커널 방법을 통합하며 등식 제약 조건을 통해 편향 항을 처리한다.
• 개별 오분류 비용을 모델링하여 예제별 비용을 처리할 수 있도록 프레임워크를 확장하고, 최소 위험을 ROC 공간 상의 벡터 최적화와 연결한다.

실험 결과

연구 질문

• RQ1 표준 SVM의 허프만 손실은 비용 민감한 분류를 지원하도록 일반화될 수 있는가, 이때 Bayes 일치성은 유지되는가?
• RQ2 비대칭 비용 하에서 초평면 정규 벡터 $ w $와 임계값 $ b $를 동시에 조정할 수 있도록 SVM 최적화 문제를 어떻게 수정할 수 있는가?
• RQ3 새로운 비용 민감한 손실과 이질적인 오분류 비용 하에서 Bayes 최적의 결정 규칙 간의 이론적 관계는 무엇인가?
• RQ4 경계 이동 및 편향된 보상 방법과 비교하여 제안된 CS-SVM의 성능 및 일관성은 어떠한가?
• RQ5 최소 비용 민감한 위험은 성능 평가를 위해 ROC 분석과 의미 있는 방식으로 연결될 수 있는가?

주요 결과

• 제안된 CS-SVM는 기존 방법들과 비교해 불균형 및 비용 민감한 데이터셋 전반에서 뛰어난 실험적 성능을 달성한다.
• 비용 민감한 Bayes 결정 규칙과 일치하는 손실 함수를 구성함으로써 Bayes 일치성을 확보하여 최적의 분류 경계를 보장한다.
• CS-SVM의 이중 문제는 해석적으로 유도되었으며, 표준 SVM 이중 문제의 일반화로 간주되며, 표준 QP 솔버를 통한 해법 가능성은 유지된다.
• 손실 함수를 확장하고 최소 위험을 ROC 공간 상의 벡터 최적화와 연결함으로써 예제별 비용을 성공적으로 처리한다.
• 이론적 분석을 통해 이전 방법들의 결함(예: $ w $와 $ b $를 동시에 수정할 수 없는 문제)을 비용 비대칭성을 손실 함수에 적절히 통합함으로써 피할 수 있음을 확인하였다.
• 실험 결과, CS-SVM는 비분리성과 극도로 불균형한 데이터 영역에서 경계 이동 및 편향된 보상 방법을 뛰어넘는 성능을 보였다.