[논문 리뷰] Auto-Sklearn 2.0: The Next Generation

Matthias Feurer, Katharina Eggensperger외 3명|arXiv (Cornell University)|2020. 07. 08.

Machine Learning and Data Classification참고 문헌 59인용 수 67

한 줄 요약

이 논문은 단순화된 메타러닝 접근법, 반복 알고리즘에 대한 향상된 처리 방식, 밴딧 기반 예산 할당 전략을 통해 효율성과 성능을 향상시킨 차세대 자동 머신러닝 시스템인 Auto-sklearn 2.0을 소개한다. 39개의 벤치마크 데이터셋에서 평가한 결과, Auto-sklearn 1.0 대비 유감을 최대 5배까지 감소시켰다.

ABSTRACT

Automated Machine Learning, which supports practitioners and researchers with the tedious task of manually designing machine learning pipelines, has recently achieved substantial success. In this paper we introduce new Automated Machine Learning (AutoML) techniques motivated by our winning submission to the second ChaLearn AutoML challenge, PoSH Auto-sklearn. For this, we extend Auto-sklearn with a new, simpler meta-learning technique, improve its way of handling iterative algorithms and enhance it with a successful bandit strategy for budget allocation. Furthermore, we go one step further and study the design space of AutoML itself and propose a solution towards truly hand-free AutoML. Together, these changes give rise to the next generation of our AutoML system, Auto-sklearn (2.0). We verify the improvement by these additions in a large experimental study on 39 AutoML benchmark datasets and conclude the paper by comparing to Auto-sklearn (1.0), reducing the regret by up to a factor of five.

연구 동기 및 목표

• 머신러닝에서 수동 파이프라인 설계의 한계를 해결하기 위해 자동화된 파이프라인 구축을 향상시키기 위해.
• 승리한 ChaLearn AutoML 챌린지 참가 제출 사례에서 영감을 얻은 새로운 기법을 통해 AutoML의 효율성과 성능을 향상시키기 위해.
• AutoML 자체의 설계 공간을 탐색하고 최적화하여 진정으로 수동이 없는 자동화를 가능하게 하기 위해.
• 예산 할당 및 메타러닝 전략을 향상시켜 하이퍼파rameter 최적화에서의 유감을 줄이기 위해.

제안 방법

• 모델 선택 및 파이프라인 구성 향상을 위해 단순화된 메타러닝 기법을 도입한다.
• 적응형 최적화 전략을 통해 반복적 머신러닝 알고리즘의 처리를 향상시킨다.
• 파이프라인 간 계산 자원을 동적으로 할당하기 위해 밴딧 기반 예산 할당 전략을 활용한다.
• 자동화된 종단 간 파이프라인 탐색 및 최적화를 지원하는 새로운 아키텍처를 Auto-sklearn에 확장한다.
• PoSH Auto-sklearn 챌린지 우승 경험에서 얻은 통찰을 바탕으로 방법론적 개선을 이끈다.

실험 결과

연구 질문

• RQ1 복잡성 증가 없이 메타러닝을 단순화하면 AutoML 성능 향상에 기여할 수 있는가?
• RQ2 반복 알고리즘 처리 향상이 전체 AutoML 효율성에 미치는 영향은 무엇인가?
• RQ3 밴딧 기반 예산 할당 전략이 AutoML 파이프라인 탐색에서의 유감을 크게 감소시킬 수 있는가?
• RQ4 AutoML의 설계 공간을 체계적으로 탐색할 경우, 진정으로 수동이 없는 자동화를 얼마나 높이기 위한가?

주요 결과

• 39개의 벤치마크 데이터셋에서 Auto-sklearn 2.0은 Auto-sklearn 1.0 대비 최대 5배까지 유감을 감소시켰다.
• 단순화된 메타러닝 기법은 모델 선택 정확도를 향상시키고 검색 시간을 단축시켰다.
• 밴딧 기반 예산 할당 전략은 유망한 파이프라인을 효과적으로 우선순위로 지정하여 자원 효율성을 향상시켰다.
• 반복 알고리즘의 처리가 향상되어 복잡한 파이프라인에서 더 빠른 수렴과 향상된 성능을 달성했다.