[논문 리뷰] AutoGluon-Tabular: Robust and Accurate AutoML for Structured Data

Nick Erickson, Jonas Mueller외 5명|arXiv (Cornell University)|2020. 03. 13.

Machine Learning and Data Classification참고 문헌 41인용 수 157

한 줄 요약

AutoGluon-Tabular은 최소한의 사용자 입력으로 강력하고 고정밀 예측을 제공하기 위해 다층 스태킹과 반복 배깅을 사용하는 표 형식 데이터용 오픈 소스 AutoML 프레임워크로, 벤치마크에서 기존의 여러 AutoML 플랫폼보다 우수합니다.

ABSTRACT

We introduce AutoGluon-Tabular, an open-source AutoML framework that requires only a single line of Python to train highly accurate machine learning models on an unprocessed tabular dataset such as a CSV file. Unlike existing AutoML frameworks that primarily focus on model/hyperparameter selection, AutoGluon-Tabular succeeds by ensembling multiple models and stacking them in multiple layers. Experiments reveal that our multi-layer combination of many models offers better use of allocated training time than seeking out the best. A second contribution is an extensive evaluation of public and commercial AutoML platforms including TPOT, H2O, AutoWEKA, auto-sklearn, AutoGluon, and Google AutoML Tables. Tests on a suite of 50 classification and regression tasks from Kaggle and the OpenML AutoML Benchmark reveal that AutoGluon is faster, more robust, and much more accurate. We find that AutoGluon often even outperforms the best-in-hindsight combination of all of its competitors. In two popular Kaggle competitions, AutoGluon beat 99% of the participating data scientists after merely 4h of training on the raw data.

연구 동기 및 목표

• 구조화된/표 데이터에 대해 최소한의 사용자 입력으로 엔드투엔드 머신러닝 자동화.
• 이질적인 데이터세트와 누락 값을 처리하는 강건한 데이터 전처리 제공.
• 시간 제약 하에서 예측 정확도를 극대화하기 위한 다층 모형 앙상블 전략 개발 및 평가.
• 다양한 벤치마크에서 기존 플랫폼과의 AutoML 성능 비교 평가.

제안 방법

• 데이터를 전처리하고, 작업 유형을 추론하며, 데이터를 분할하고, 여러 모델을 학습시키며, 최적화된 앙상블을 구축하는 한 줄 적합 API.
• 텍스트, 누락 값 및 범주형을 다루는 모델-독립적 전처리와 모델-특정 전처리로 구성된 두 단계의 데이터 처리.
• 신경망, LightGBM, CatBoost, Random Forest, Extremely Randomized Trees, 및 KNN를 포함하는 미리 정의된 모델 세트의 사용.
• 범주형 변수에 대한 피처별 임베딩을 적용하고 출력으로의 스킵 연결이 있는 신경망 아키텍처.
• 레이어 간 스태커에 기반 모델이 피드되며 입력 피처가 이전 레이어의 예측과 연결되어 있는 새로운 다층 스택 앙상블.
• 다중 반복으로 k-겹 배깅(반복 수 n)을 수행하여 out-of-fold 예측을 만들고 과적합을 완화하며 안정성을 위해 반복 간 평균화.
• 레이어별 스태킹에 시간 예산을 두고, 진행 상황을 체크포인트하며, 모델 실패를 허용하여 내결함성을 확보하는 학습 전략.

실험 결과

연구 질문

• RQ1 고정된 시간 예산 하에 다양한 표 형식 데이터 세트에 대해 AutoGluon-Tabular가 다른 AutoML 프레임워크에 비해 어떻게 성능을 발휘합니까?
• RQ2 반복적 k-겹 배깅을 포함한 다층 스태킹이 전통적인 CASH 기반 AutoML 접근 방식에 비해 정확도와 강건성을 향상시킵니까?
• RQ3 AutoGluon-Tabular가 수동 피처 엔지니어링 없이도 다양한 타입과 누락 값이 포함된 원시 표 형식 데이터를 자동으로 처리할 수 있나요?
• RQ4 제안된 신경망 임베딩과 스킵 연결이 표 형식 AutoML 앙상블에서 얻는 실증적 이득은 무엇인가요?

주요 결과

• AutoGluon은 Kaggle/OpenML 과제 50개 모음에서 여러 AutoML 프레임워크보다 더 빠르고, 더 강건하며, 더 정확합니다.
• 사후 최적의 모든 경쟁 프레임워크 조합보다 종종 더 우수한 성능을 발휘합니다.
• Kaggle 대회에서 AutoGluon은 원시 데이터에 대해 4시간의 학습 후 참가 데이터 과학자의 99%를 이겼습니다.
• AutoGluon은 벤치마크 전반에서 지정된 시간 예산(1시간, 4시간 및 그 이상)을 준수하면서 높은 정확도를 달성하고 학습 실패가 더 적습니다.
• 요소를 제거하면(반복 배깅, 다층 스태킹, 배깅, 네트워크 특징) 성능이 저하되어 이들의 중요성을 강조합니다.