[논문 리뷰] Learning a Fuzzy Hyperplane Fat Margin Classifier with Minimum VC dimension

Jayadeva, Sanjit Singh Batra외 1명|arXiv (Cornell University)|2015. 01. 11.

Face and Expression Recognition참고 문헌 9인용 수 3

한 줄 요약

이 논문은 VC 차원의 정확한 상한을 최소화하면서 이상치의 영향을 줄이기 위해 퍼지 소속도를 통합하는 새로운 분류기인 퍼지 최소 복잡도 기계(Fuzzy MCM)를 제안한다. 저차원 VC 차원과 가중 오분류 오차를 균형 잡는 선형 프로그래밍 문제를 해결함으로써 Fuzzy MCM는 기존 SVM 및 퍼지 SVM 대비 최대 15배 적은 서포트 벡터를 사용하면서도 뛰어난 일반화 성능을 달성한다.

ABSTRACT

The Vapnik-Chervonenkis (VC) dimension measures the complexity of a learning machine, and a low VC dimension leads to good generalization. The recently proposed Minimal Complexity Machine (MCM) learns a hyperplane classifier by minimizing an exact bound on the VC dimension. This paper extends the MCM classifier to the fuzzy domain. The use of a fuzzy membership is known to reduce the effect of outliers, and to reduce the effect of noise on learning. Experimental results show, that on a number of benchmark datasets, the the fuzzy MCM classifier outperforms SVMs and the conventional MCM in terms of generalization, and that the fuzzy MCM uses fewer support vectors. On several benchmark datasets, the fuzzy MCM classifier yields excellent test set accuracies while using one-tenth the number of support vectors used by SVMs.

연구 동기 및 목표

• 특히 노이즈가 많거나 이상치가 발생하기 쉬운 데이터에서 일반화 성능이 열 劣하고 서포트 벡터 수가 많은 전통적 SVM의 문제를 해결하기 위해.
• 최소 복잡도 기계(MCM) 프레임워크를 퍼지 영역으로 확장하여 데이터 노이즈 및 이상치에 대한 강건성을 향상시키기 위해.
• 더 나은 일반화를 위해 VC 차원을 최소화하면서도, 각 샘플의 고유한 퍼지 소속도를 통합하여 잘못 분류되거나 노이즈가 있는 샘플의 영향을 줄이기 위해.
• SVM 및 퍼지 SVM 대비 훨씬 적은 서포트 벡터로 높은 테스트 정확도를 달성하기 위해.
• 정확한 상한을 통한 VC 차원 최소화가 퍼지 분류 설정에서 뛰어난 일반화 성능을 이끌어낼 수 있음을 입증하기 위해.

제안 방법

• Fuzzy MCM는 분류기의 VC 차원에 대한 정확한 상한을 최소화하는 선형 프로그래밍 최적화 문제를 수립한다.
• 이상치의 영향을 줄이기 위해 오분류 페널티를 퍼지 소속도 값으로 스케일링한 가중 실측 오차 항을 도입한다.
• 학습 샘플에 퍼지 소속도를 할당하여 각 클래스에 속하는 정도를 반영함으로써, 노이즈가 있거나 모호한 샘플의 영향을 줄일 수 있도록 모델을 설계한다.
• 가우스 커널을 사용할 경우 결정 함수에 대한 닫힌 형태의 표현식을 도출하며, 이는 오직 몇 개의 서포트 벡터에서 유도된다.
• 최적화 과정은 일반화를 위한 낮은 VC 차원과 강건성을 위한 최소화된 퍼지 가중 오차 사이의 균형을 맞춘다.
• 비선형 분류를 가능하게 하면서도 희소성을 유지하기 위해 가우스 커널을 사용한 커널라이제이션된 경우로 확장한다.

실험 결과

연구 질문

• RQ1 퍼지 분류 프레임워크에서 정확한 VC 차원 상한을 최소화하는 것이 기존 SVM보다 더 나은 일반화 성능을 이끌 수 있는가?
• RQ2 퍼지 소속도를 통합할 경우 이상치에 대한 민감도는 어느 정도 감소하고 테스트 정확도는 어떻게 향상되는가?
• RQ3 다양한 벤치마크 데이터셋에서 Fuzzy MCM의 서포트 벡터 수는 SVM 및 퍼지 SVM에 비해 어떻게 비교되는가?
• RQ4 Fuzzy MCM는 훨씬 줄어든 서포트 벡터로 높은 정확도를 달성하여 더 단순하고 해석이 쉬운 모델을 제공할 수 있는가?
• RQ5 Fuzzy MCM는 기존 MCM 및 퍼지 SVM에 비해 테스트 정확도와 희소성 측면에서 모두 뛰어나게 성능을 발휘하는가?

주요 결과

• Haberman 데이터셋에서 Fuzzy MCM는 단 4개의 서포트 벡터만을 사용했으며, 이는 SVM가 사용한 73개보다 15배 이상 적은 수였다. 이와 동시에 유사하거나 더 높은 정확도를 달성했다.
• CRX 데이터셋에서 Fuzzy MCM는 92.8개의 서포트 벡터를 사용했고, 퍼지 SVM는 404.4개를 사용했다. 테스트 정확도는 Fuzzy MCM가 71.01%로 퍼지 SVM의 68.84%보다 높았다.
• Pima Indian Diabetes 데이터셋에서 Fuzzy MCM는 112.8개의 서포트 벡터로 76.55%의 테스트 정확도를 달성했고, 퍼지 SVM는 355.4개의 서포트 벡터로 76.81%의 정확도를 기록했다.
• 모든 13개의 벤치마크 데이터셋에서 Fuzzy MCM는 퍼지 SVM와 비교해 높거나 유사한 테스트 정확도를 기록했고, 항상 더 적은 수의 서포트 벡터를 사용했다.
• 임신 진단 데이터셋에서 Fuzzy MCM는 17.7개의 서포트 벡터로 91.00%의 정확도를 달성했고, 퍼지 SVM는 39.0개의 서포트 벡터로 88.00%의 정확도를 기록했다.
• Haberman 데이터셋에서 단 4개의 서포트 벡터만을 사용해 도출된 Fuzzy MCM의 닫힌 형태 결정 함수는 뛰어난 모델 희소성과 해석 가능성의 사례를 보여준다.