[논문 리뷰] Comparison of 14 different families of classification algorithms on 115 binary datasets

Jacques Wainer|Deep Blue (University of Michigan)|2016. 06. 02.

Machine Learning and ELM참고 문헌 19인용 수 61

한 줄 요약

이 연구는 엄격한 초파rameter 튜닝과 통계 분석을 통해 115개의 이元분류 데이터셋에서 14개의 분류 알고리즘 가족을 평가한다. 결과적으로 랜덤 포레스트, 그래디언트 부스팅 머신(GBM), RBF SVM가 가장 뛰어난 성능을 보이며 오차율에 실질적인 차이가 없음(기준: 0.0112)을 확인했고, RBF SVM는 학습 및 추론에서 뚜렷하게 빠른 성능을 보였다.

ABSTRACT

We tested 14 very different classification algorithms (random forest, gradient boosting machines, SVM - linear, polynomial, and RBF - 1-hidden-layer neural nets, extreme learning machines, k-nearest neighbors and a bagging of knn, naive Bayes, learning vector quantization, elastic net logistic regression, sparse linear discriminant analysis, and a boosting of linear classifiers) on 115 real life binary datasets. We followed the Demsar analysis and found that the three best classifiers (random forest, gbm and RBF SVM) are not significantly different from each other. We also discuss that a change of less then 0.0112 in the error rate should be considered as an irrelevant change, and used a Bayesian ANOVA analysis to conclude that with high probability the differences between these three classifiers is not of practical consequence. We also verified the execution time of "standard implementations" of these algorithms and concluded that RBF SVM is the fastest (significantly so) both in training time and in training plus testing time.

연구 동기 및 목표

• 실제 이원분류 데이터셋에서 다양한 분류 알고리즘 가족 14종을 엄격한 초파rameter 튜닝을 통해 비교하기 위해.
• 이원분류 작업에서 가장 정확하고 효율적인 알고리즘을 특정하기 위해.
• 오차율 차이의 실질적 무의미성 기준(0.0112)을 설정하여 알고리즘 선택을 안내하기 위해.
• 베이지안 ANOVA를 적용하여 상위 알고리즘 간 성능 차이가 실질적으로 의미 있는지 평가하기 위해.
• 이전 연구의 한계(기본 초파라미터 사용, 다중클래스 확장)를 보완하기 위해 이원분류 문제와 표준 구현에 집중하기 위해.

제안 방법

• 연구는 UCI 저장소에서 확보한 115개의 이원분류 데이터셋을 사용하며, 다중클래스 문제에서 변환된 자료를 활용한다.
• 각 알고리즘은 기본값을 피하고 성능 향상을 위해 신중히 선택된 초파라미터 범위를 사용해 튜닝된다.
• 알고리즘 성능의 비모수적 통계적 비교를 위해 Demsar 절차가 적용된다.
• 성능 차이가 실질적으로 무의미한지 평가하기 위해 베이지안 ANOVA 모델이 사용된다.
• 오차율 차이의 기준 0.0112는 효과 크기 고려에서 유도되었으며, 실질적 무의미성 정의에 사용된다.
• 학습 및 추론 효율성을 비교하기 위해 표준 R 구현을 사용해 실행 시간을 측정한다.

실험 결과

연구 질문

• RQ1 초파라미터가 최적화된 상태에서 이원분류 데이터셋에서 어떤 분류 알고리즘 가족이 가장 높은 정확도를 달성하는가?
• RQ2 상위 성능 알고리즘 간의 성능 차이가 실질적으로 의미 있는가 아니면 무시할 만한가?
• RQ3 표준 구현에서 상위 알고리즘 간 학습 및 추론 시간은 어떻게 비교되는가?
• RQ4 베이지안 ANOVA 모델은 작은 오차율 차이의 실질적 관련성을 효과적으로 평가할 수 있는가?
• RQ5 다중클래스 확장 제거 및 이원분류 문제에 집중함으로써 이전의 대규모 비교와 다른 결론을 이끌 수 있는가?

주요 결과

• 랜덤 포레스트, 그래디언트 부스팅 머신(GBM), RBF SVM는 오차율에 통계적으로 유의미한 차이가 없이 상위 3개의 성능 알고리즘으로 나타났다.
• 이 세 알고리즘 간 오차율의 차이는 실질적 무의미성 기준 0.0112 이하로, 성능 차이가 의미 있는 구분 없이 나타났다.
• RBF SVM는 학습 및 학습+테스트 시간 모두에서 랜덤 포레스트 및 GBM보다 뚜렷하게 빠른 속도를 보였다.
• 다항식 커널 SVM, 극단적 학습 기계, 1은닉층 신경망은 유사한 성능을 보이며 상위 3개보다 유의미하게 뛰어나지 않았다.
• 베이지안 ANOVA는 상위 3개 알고리즘 간의 성능 차이가 실질적으로 영향을 주지 않는다는 높은 확률을 확인했다.
• 이 연구는 특히 랜덤 포레스트와 그래디언트 부스팅 머신에 대해 체계적인 튜닝 연구가 부족한 만큼, 더 나은 초파라미터 선택 방법의 필요성을 밝혔다.