[논문 리뷰] Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms

Chris Thornton, Frank Hutter외 2명|arXiv (Cornell University)|2012. 08. 17.

Machine Learning and Data Classification인용 수 190

한 줄 요약

Auto-WEKA는 기계학습 알고리즘 선택과 하이퍼파rameter 튜닝을 동시에 수행하는 완전 자동화된 베이지안 최적화 기반 프레임워크를 제안하며, 알고리즘 선택을 하이퍼파rameter로 간주한다. TPE와 SMAC 최적화기를 사용하여 786차원의 탐색 공간을 탐색함으로써 21개의 다양한 데이터셋, 특히 대규모 데이터셋에서 표준 방법을 뛰어넘는 성능을 보였다. 실용적 구현에 있어 SMAC가 더 우수한 선택으로 부각났다.

ABSTRACT

Many different machine learning algorithms exist; taking into account each algorithm's hyperparameters, there is a staggeringly large number of possible alternatives overall. We consider the problem of simultaneously selecting a learning algorithm and setting its hyperparameters, going beyond previous work that addresses these issues in isolation. We show that this problem can be addressed by a fully automated approach, leveraging recent innovations in Bayesian optimization. Specifically, we consider a wide range of feature selection techniques (combining 3 search and 8 evaluator methods) and all classification approaches implemented in WEKA, spanning 2 ensemble methods, 10 meta-methods, 27 base classifiers, and hyperparameter settings for each classifier. On each of 21 popular datasets from the UCI repository, the KDD Cup 09, variants of the MNIST dataset and CIFAR-10, we show classification performance often much better than using standard selection/hyperparameter optimization methods. We hope that our approach will help non-expert users to more effectively identify machine learning algorithms and hyperparameter settings appropriate to their applications, and hence to achieve improved performance.

연구 동기 및 목표

• 기존 연구에서 거의 간과되었던 병합된 알고리즘 선택 및 하이퍼파ram터 최적화 문제(CASH)를 해결하기 위해.
• 전문가가 아닌 사용자가 수동 튜닝 없이도 고성능 기계학습 설정을 자동으로 식별할 수 있도록 하기 위해.
• 알고리즘 선택을 하이퍼파arameter로 간주함으로써 현대 베이지안 최적화를 통해 효과적인 탐색이 가능하다는 것을 입증하기 위해.
• 다양한 데이터셋을 대상으로 Auto-WEKA의 성능을 표준 알고리즘 선택 및 하이퍼파aram터 튜닝 방법과 평가하고 비교하기 위해.
• 실증 분석을 통해 데이터셋에 따라 선호되는 알고리즘 및 특징 선택 선택 사항을 규명하기 위해.

제안 방법

• 알고리즘 선택을 하이퍼파aram터로 간주하는 고계층 하이퍼파aram터 최적화 문제로 CASH 문제를 수식화한다.
• 트리 기반 파르젠 추정기(TPE)와 순차적 모델 기반 알고리즘 구성(SMAC)을 활용한 베이지안 최적화를 통해 786차원의 알고리즘, 하이퍼파aram터 및 특징 선택 방법 공간을 탐색한다.
• WEKA에 내장된 27개의 기본 분류기, 10개의 메타 방법, 2개의 앙상블 방법, 11개의 특징 선택 구성(3개의 검색 방법 + 8개의 평가자 방법)을 통합한다.
• 모델 성능을 추정하고 최적화 과정을 이끄는 데 k-폴드 교차검증을 사용한다.
• UCI, KDD 컵 09, MNIST 변형, CIFAR-10 포함 21개 데이터셋의 결과를 통합하여 일반화 성능을 평가한다.
• 실행 및 최적화기 기반으로 알고리즘 및 특징 선택 선택 사항의 빈도를 기반으로 순위를 매겨 데이터셋에 따라 달라지는 선호도를 드러낸다.

실험 결과

연구 질문

• RQ1 완전 자동화된 시스템이 고성능 설정을 찾기 위해 학습 알고리즘과 하이퍼파aram터의 병합된 공간을 효과적으로 탐색할 수 있는가?
• RQ2 Auto-WEKA의 성능는 다양한 데이터셋에서 표준적인 별도의 알고리즘 선택 및 하이퍼파aram터 튜닝 방법과 비교해 어떻게 되는가?
• RQ3 TPE와 SMAC 중 어떤 베이지안 최적화 방법이 CASH 맥락에서 더 좋은 결과를 낳는가?
• RQ4 Auto-WEKA는 어떤 데이터셋에 따라 알고리즘 및 특징 선택 구성에서 선호되는 선택을 하는가?
• RQ5 Auto-WEKA의 데이터 기반 특징 선택 방법 선택은 소규모 대비 대규모 데이터셋에 대해 효과적인 정규화 전략을 반영하는가?

주요 결과

• Auto-WEKA는 특히 CIFAR-10 및 KDD 컵 09와 같은 대규모 데이터셋에서 표준 알고리즘 선택 및 하이퍼파aram터 튜닝 방법을 뛰어넘는 성능을 보였다.
• SMAC 기반 Auto-WEKA 버전은 TPE보다 일관되게 뛰어난 성능을 보였으며, 실용적 구현에 권장되었다.
• 단일 기준 분류기가 선택 과정에서 지배적이지 않았으며, 랜덤 포레스트, 서포트 벡터 머신(SVM), 단일층 퍼셉트론 각각 약 12%의 비율로 선택되었다.
• 대규모 데이터셋에서는 AdaBoostM1 및 랜덤 서브스페이스와 같은 메타 방법이 더 자주 선택되었으며, REP 트리 및 결정표가 일반적인 기본 학습기로 사용되었다.
• 소규모 데이터셋에서는 특징 선택이 더 자주 적용되었으며, 랭커 검색 방법과 정보 이득 평가자 방법이 가장 선호되는 선택이었다.
• Auto-WEKA의 내부 교차검증 과정을 통해 특징 선택이 데이터 기반으로 선택되었으며, 소규모 데이터셋에서는 정규화로 활용하고 대규모 데이터셋에서는 전체 특징 학습을 수행하였다.