[논문 리뷰] Auto-WEKA: Automated Selection and Hyper-Parameter Optimization of Classification Algorithms

Chris Thornton, Frank Hutter외 2명|arXiv (Cornell University)|2012. 08. 18.

Fuzzy Logic and Control Systems인용 수 53

한 줄 요약

Auto-WEKA는 WEKA 내부의 47개 분류기 전반에 걸쳐 베이지안 최적화를 사용하여 최적의 기계학습 분류기와 그 하이퍼파rameter를 동시에 선택하는 완전 자동화된 프레임워크를 제안한다. 이는 10개의 UCI 기준 데이터셋에서 기본 설정 대비 뛰어난 분류 성능을 달성하여 종단 간 자동 모델 선택 및 하이퍼파rameter 튜닝의 가능성을 입증한다.

ABSTRACT

There exists a large variety of machine learning algorithms; as most of these can be configured via hyper-parameters, there is a staggeringly large number of possible alternatives overall. There has been a consid-erable amount of previous work on choosing among learning algorithms and, separately, on optimizing hyper-parameters (mostly when these are continuous and very few in number) in a given use context. However, we are aware of no work that addresses both problems together. Here, we demonstrate the feasibility of using a fully automated approach for choosing both a learning algorithm and its hyper-parameters, leveraging recent innovations in Bayesian optimization. Specifically, we apply this approach to the full range of classifiers implemented in WEKA, spanning 3 ensemble methods, 14 meta-methods, 30 base classifiers, and a wide range of hyper-parameter settings for each of these. On each of 10 popular data sets from the UCI repository, we show classification performance better than that of complete cross-validation over the default hyper-parameter settings of our 47 classification algorithms. We believe that our approach, which we dubbed Auto-WEKA, will enable typical users of machine learning algorithms to make better choices and thus to obtain better performance in a fully automated fashion. 1

연구 동기 및 목표

• 기존에 함께 고려되지 않았던 최적의 학습 알고리즘과 하이퍼파aram터를 동시에 선택하는 도전 과제를 해결하기 위해.
• 전문 지식이 없거나 기계학습 전문 지식이 제한된 사용자가 수동 튜닝 없이도 더 나은 분류 성능을 달성할 수 있도록 하기 위해.
• 알고리즘 선택 및 하이퍼파aram터 최적화의 전체 파이프라인을 확장 가능하고 효과적으로 자동화하는 것이 가능한지 입증하기 위해.
• 다양한 분류기와 실제 세계 데이터셋에 걸쳐 제안된 접근법의 성능을 평가하기 위해.
• 자동 선택이 여러 표준 기준 데이터셋에서 기본 설정을 초월할 수 있는지 보여주기 위해.

제안 방법

• 이 방법은 학습 알고리즘과 하이퍼파aram터의 결합 공간을 탐색하기 위해 베이지안 최적화를 사용한다.
• 30개의 기본 분류기, 14개의 메타 방법, 3개의 앙상블 방법을 포함한 WEKA 내부의 전체 47개 분류기를 활용한다.
• 연속형 및 이산형 하이퍼파aram터에 대해 하이퍼파aram터 탐색을 수행하며, 각 설정은 교차검증을 통해 평가된다.
• 최적화 과정은 확률 모델을 활용하여 효율적으로 유망한 설정으로 탐색을 이끈다.
• 초기 설정 이후 사용자 간섭 없이 완전히 자동화된 프레임워크로 설계되어 있다.
• 일반성 확보를 위해 10개의 표준 UCI 기준 데이터셋을 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 완전 자동화된 시스템이 분류기 선택과 하이퍼파aram터 튜닝을 동시에 최적화하여 기본 설정을 초월할 수 있는가?
• RQ2 다양한 분류기와 하이퍼파aram터의 복잡한 탐색 공간에서 베이지안 최적화의 효과는 어떠한가?
• RQ3 제안된 접근법은 다양한 실제 세계 데이터셋에서 일관되게 분류 성능을 향상시킬 수 있는가?
• RQ4 완전한 교차검증을 통해 기본 설정을 초월하는 결과를 얻을 수 있는가?
• RQ5 자동화가 모델 선택에 있어 전문 지식이 필요한 정도를 어느 정도 감소시킬 수 있는가?

주요 결과

• Auto-WEKA는 10개의 UCI 기준 데이터셋 전부에서 기본 하이퍼파aram터 설정에 대한 완전한 교차검증보다 더 뛰어난 분류 성능을 달성했다.
• 사용자 간섭 없이도 프레임워크가 우수한 모델과 하이퍼파aram터를 성공적으로 식별하여 종단 간 자동화의 가능성을 입증했다.
• 기본 설정을 초월하는 성능 향상이 기본, 메타, 앙상블 방법을 포함한 다양한 분류기 유형에서 모두 관찰되었다.
• 베이지안 최적화가 알고리즘과 하이퍼파aram터 조합의 고차원 탐색 공간을 효과적으로 탐색했다.
• 알고리즘과 하이퍼파aram터를 동시에 최적화하는 것이 개별적으로 하나의 요소만 최적화하는 것보다 유의미한 성능 향상을 이끌어낸다.
• 일반 사용자가 기계학습 설정 전문 지식 없이도 더 나은 성능을 얻을 수 있도록 한다.