[논문 리뷰] A Fast SVM-based Feature Selection Method, Combining MFE (Margin-Maximizing Feature Elimination) and Upper Bound on Misclassification Risk

Yaman Aksu|arXiv (Cornell University)|2012. 10. 16.

Imbalanced Data Classification Techniques인용 수 2

한 줄 요약

이 논문은 일반화 오차를 줄이기 위해 마진 최대화 특성 제거(MFE)와 데이터 반경 활용을 결합한 빠른 SVM 기반 특성 선택 방법을 제안한다. 새로운 소프트 마진 경량 재학습 방법(QP1)과 반경 인지 제거 기준을 도입함으로써 MFE-LO를 능가하는 성능을 달성하여 고차원, 저표본 데이터셋에서 낮은 테스트 오차율을 기록한다.

ABSTRACT

Margin maximization in the hard-margin sense, proposed as feature elimination criterion by the MFE-LO method, is combined here with data radius utilization to further aim to lower generalization error, as several published bounds and bound-related formulations pertaining to lowering misclassification risk (or error) pertain to radius e.g. product of squared radius and weight vector squared norm. Additionally, we propose additional novel feature elimination criteria that, while instead being in the soft-margin sense, too can utilize data radius, utilizing previously published bound-related formulations for approaching radius for the soft-margin sense, whereby e.g. a focus was on the principle stated therein as finding a bound whose minima are in a region with small leave-one-out values may be more important than its tightness. These additional criteria we propose combine radius utilization with a novel and computationally low-cost soft-margin light classifier retraining approach we devise named QP1; QP1 is the soft-margin alternative to the hard-margin LO. We correct an error in the MFE-LO description, find MFE-LO achieves the highest generalization accuracy among the previously published margin-based feature elimination (MFE) methods, discuss some limitations of MFE-LO, and find our novel methods herein outperform MFE-LO, attain lower test set classification error rate. On several datasets that each both have a large number of features and fall into the `large features few samples' dataset category, and on datasets with lower (low-to-intermediate) number of features, our novel methods give promising results. Especially, among our methods the tunable ones, that do not employ (the non-tunable) LO approach, can be tuned more aggressively in the future than herein, to aim to demonstrate for them even higher performance than herein.

연구 동기 및 목표

• 고차원, 저표본 데이터셋에서 오분류 위험을 줄임으로써 특성 선택의 일반화 성능을 향상시키기.
• 기존 마진 기반 특성 제거 방법, 특히 MFE-LO의 한계를 보완하기 위해 선택 기준에 데이터 반경을 통합하기.
• 경량 소프트 마진 대체 방법인 QP1이라는 계산 효율성이 높은 하드 마진 LO 재학습 방법의 소프트 마진 대안을 개발하기.
• 소프트 마진 설정에서 경계 관련 공식화와 데이터 반경을 활용한 새로운 특성 제거 기준을 제안하기.
• 이전의 MFE 방법들보다 뛰어난 분류 오차 감소 성능을 입증하기, 특히 많은 특성과 적은 표본이 있는 데이터셋에서 성능 향상을 보여주기.

제안 방법

• 하드 마진 의미에서 마진 최대화에 기반한 새로운 특성 제거 기준을 도입하고, 일반화 오차를 줄이기 위해 데이터 반경 활용을 강화한다.
• 경계 관련 공식화에 데이터 반경을 통합한 새로운 소프트 마진 특성 제거 접근법을 제안하며, 타이트함보다는 이탈한 한 개 표본 오차를 최소화하는 데 초점을 맞춘다.
• 소프트 마진 SVM에 적합한 경량이고 계산 효율성이 높은 재학습 방법 QP1을 개발하여 더 비싼 LO 재학습의 대안으로 제공한다.
• 이전에 보고된 MFE-LO 방법의 기술 오류를 수정하고 성능을 재평가하여, 지금까지 발표된 마진 기반 특성 제거 방법 중에서 가장 뛰어난 성능을 보임을 확인한다.
• 반경 인지 기준과 QP1을 조합하여 MFE-LO를 초월하는 조정 가능한 특성 선택 방법을 개발하고, 다양한 벤치마크 데이터셋에서 성능을 높였다.
• 낮은 이탈한 한 개 표본 값이 있는 영역을 우선시하는 경계 관련 공식화를 활용하여 일반화 오차 최소화 목표와 일치시킨다.

실험 결과

연구 질문

• RQ1 마진 기반 특성 선택에 데이터 반경을 통합함으로써 일반화 오차를 기존 MFE 방법보다 더 효과적으로 줄일 수 있는가?
• RQ2 제안된 소프트 마진, 반경 인지 특성 선택 방법의 테스트 오차율은 MFE-LO와 비교해 어떻게 성능을 내는가?
• RQ3 QP1 재학습 방법은 소프트 마진 SVM에서 분류 정확도를 유지하면서 계산 효율성을 얼마나 향상시키는가?
• RQ4 고차원이고 표본 수가 적은 데이터셋에서 제안된 방법들이 MFE-LO를 능가하는 성능을 낼 수 있는가?
• RQ5 제안된 방법들은 얼마나 조정 가능한가? 더 강력한 튜닝을 통해 보고된 결과를 초월해 성능을 향상시킬 수 있는가?

주요 결과

• 수정된 MFE-LO 방법은 이전에 발표된 마진 기반 특성 제거 방법들 중에서 가장 높은 일반화 정확도를 달성한다.
• 제안된 새로운 방법들은 MFE-LO를 능가하여 여러 데이터셋에서 낮은 테스트 세트 분류 오차율을 기록한다.
• 특성이 많고 표본 수가 적은 데이터셋에서는 제안된 방법들이 유망하고 일관된 성능 향상을 보인다.
• 비조정 가능한 LO 방법에 의존하지 않는 제안된 방법의 조정 가능한 버전은 더 강력한 튜닝을 통해 더 높은 성능을 낼 잠재력을 보인다.
• 소프트 마진 특성 제거 기준에 데이터 반경을 통합함으로써 일반화 성능이 향상되며, 특히 이탈한 한 개 표본 오차 최소화에 따라 안내될 경우 더욱 뚜렷한 향상이 이루어진다.
• QP1은 효율적인 소프트 마진 재학습을 가능하게 하여 제안된 방법이 고차원 데이터셋에서도 계산적으로 실현 가능하게 한다.