[논문 리뷰] The Heterogeneous Ensembles of Standard Classification Algorithms (HESCA): the Whole is Greater than the Sum of its Parts

James Large, Jason Lines외 1명|arXiv (Cornell University)|2017. 10. 25.

Imbalanced Data Classification Techniques참고 문헌 18인용 수 36

한 줄 요약

이 논문은 표준 분류기(예: 의사결정나무, 서포트벡터기계, 신경망 등)의 이질적 앙상블인 HESCA를 제안한다. 이는 학습 데이터에서 오차 추정치를 사용해 서로 다른 알고리즘 계열의 모델을 통합한다. HESCA는 개별 분류기, 튜닝된 SVM, 심지어 시간적 구조를 고려한 전용 알고리즘들조차도 유의미하게 뛰어넘는 성능을 보이며, 특히 소규모 데이터셋과 다중 클래스 문제에서 빠르고 견고한 기준 성능을 제공한다.

ABSTRACT

Building classification models is an intrinsically practical exercise that requires many design decisions prior to deployment. We aim to provide some guidance in this decision making process. Specifically, given a classification problem with real valued attributes, we consider which classifier or family of classifiers should one use. Strong contenders are tree based homogeneous ensembles, support vector machines or deep neural networks. All three families of model could claim to be state-of-the-art, and yet it is not clear when one is preferable to the others. Our extensive experiments with over 200 data sets from two distinct archives demonstrate that, rather than choose a single family and expend computing resources on optimising that model, it is significantly better to build simpler versions of classifiers from each family and ensemble. We show that the Heterogeneous Ensembles of Standard Classification Algorithms (HESCA), which ensembles based on error estimates formed on the train data, is significantly better (in terms of error, balanced error, negative log likelihood and area under the ROC curve) than its individual components, picking the component that is best on train data, and a support vector machine tuned over 1089 different parameter configurations. We demonstrate HESCA+, which contains a deep neural network, a support vector machine and two decision tree forests, is significantly better than its components, picking the best component, and HESCA. We analyse the results further and find that HESCA and HESCA+ are of particular value when the train set size is relatively small and the problem has multiple classes. HESCA is a fast approach that is, on average, as good as state-of-the-art classifiers, whereas HESCA+ is significantly better than average and represents a strong benchmark for future research.

연구 동기 및 목표

• 계산 자원 제약 조건 하에서 새로운 문제에 대해 가장 적합한 분류 알고리즘 계열을 선택하는 데 실용적인 과제를 해결하기 위해.
• 다양한 알고리즘 계열의 최소한의 튜닝을 거친 분류기들을 앙상블하면 단일 모델을 최적화하는 것보다 성능 향상이 이루어지는지 조사하기 위해.
• 학습 데이터에서 간단한 오차 기반 가중치 부여 방식이 더 복잡한 방법들보다 효과적인지 평가하기 위해.
• 특히 저데이터 및 다중 클래스 환경에서 HESCA를 신뢰할 수 있고, 빠르며 일반적인 분류 작업의 기준 성능으로 정립하기 위해.

제안 방법

• 동일한 훈련 데이터에 대해 서로 다른 알고리즘 계열(예: 의사결정나무, 서포트벡터기계, 신경망 등)에서 온 다양한 기본 분류기들을 훈련한다.
• 교차검증 또는 유사 기법을 사용해 각 기본 분류기의 훈련 세트에서의 오차를 추정한다.
• 각 기본 분류기의 예측을 그들의 추정된 훈련 오차에 따라 가중치를 부여한다—낮은 오차일수록 더 높은 가중치를 가진다.
• 모든 기본 분류기의 가중치가 부여된 예측을 통합해 최종 앙상블 예측을 도출한다.
• HESCA와 HESCA+ 모두 동일한 가중치 부여 방식을 사용하며, HESCA+는 딥 네트워크와 두 개의 의사결정나무 포레스트를 포함한다.
• 표준 평가 지표를 사용해 앙상블 성능을 평가한다: 테스트 데이터에서의 분류 오차, 균형 오차, 음의 로그우도, AUC-ROC.

실험 결과

연구 질문

• RQ1 서로 다른 알고리즘 계열에서 온 다수의 최소 튜닝 분류기들을 앙상블하면, 가장 우수한 단일 분류기 선택보다 성능 향상이 유의미하게 이루어지는가?
• RQ2 훈련 데이터에서의 오차 추정치만으로 앙상블 구성 요소의 가중치를 효과적으로 부여할 수 있으며, 이 방법이 더 복잡한 조합 기법보다 나은가?
• RQ3 단일 분류기를 튜닝하는 것과 비교해 여러 알고리즘 계열의 간단한 버전을 앙상블하는 것이 더 효과적인가?
• RQ4 HESCA는 1089개의 파rameter 설정을 가진 고도로 튜닝된 SVM과 비교해 다양한 데이터셋에서 성능 면에서 어떻게 다른가?
• RQ5 앙상블는 튜닝된 기본 모델의 성능에 대해 의미 있는 통찰을 제공하는가? 그리고 다양한 데이터 유형으로 일반화되는가?

주요 결과

• HESCA는 206개의 데이터셋에서 개별 구성 요소, 훈련 데이터에서 가장 우수한 단일 분류기, 그리고 1089개의 파rameter 설정을 가진 튜닝된 SVM을 모두 뛰어넘는 성능을 보였다.
• 딥 네트워크, 서포트벡터기계, 두 개의 의사결정나무 포레스트를 포함한 HESCA+는 그 구성 요소들 중 어느 하나보다도 유의미하게 뛰어난 성능을 보이며, 평균적으로 HESCA를 초월한다.
• HESCA와 HESCA+는 1,000개 이하의 훈련 인스턴스와 두 개 이상의 클래스를 가진 데이터셋에서 특히 효과적이며, 이 경우 성능 향상이 가장 두드러진다.
• HESCA에서 사용된 단순한 오차 기반 가중치 부여 방식은 Confusion Entropy와 같은 더 복잡한 앙상블 조합 방법보다도 동일하거나 더 우수한 성능을 내었다.
• UCR-UEA 시간적 시리즈 아카이브에서 HESCA+는 시간적 구조를 고려하지 않았음에도 불구하고 18개의 최첨단 시간적 시리즈 전용 알고리즘 중 11개와 유사한 성능을 달성했다.
• HESCA는 최첨단 분류기와 평균적으로 동등한 정확도를 보이며, 계산 자원을 수개월에서 수십만 배 정도 적게 소모하므로 실용적이고 신뢰할 수 있는 기준 성능이 된다.