[논문 리뷰] Automatic Gradient Boosting

Janek Thomas, Stefan Coors외 1명|arXiv (Cornell University)|2018. 07. 10.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 베이지안 최적화를 통해 초모수 조정, 임계값 최적화, 범주형 특징 인코딩을 자동화하는 AutoML 프레임워크인 autoxgboost를 제안한다. 단일 알고리즘에 집중함에도 불구하고 두 데이터셋에서 최신 기술 수준의 성능을 달성하고 16개의 벤치마크 데이터셋 중 절반에서 경쟁력 있는 결과를 보이며, 뛰어난 해석 가능성과 구현 용이성의 이점을 지닌 단일 학습기 기반 AutoML의 실현 가능성을 입증한다.

ABSTRACT

Automatic machine learning performs predictive modeling with high performing machine learning tools without human interference. This is achieved by making machine learning applications parameter-free, i.e. only a dataset is provided while the complete model selection and model building process is handled internally through (often meta) optimization. Projects like Auto-WEKA and auto-sklearn aim to solve the Combined Algorithm Selection and Hyperparameter optimization (CASH) problem resulting in huge configuration spaces. However, for most real-world applications, the optimization over only a few different key learning algorithms can not only be sufficient, but also potentially beneficial. The latter becomes apparent when one considers that models have to be validated, explained, deployed and maintained. Here, less complex model are often preferred, for validation or efficiency reasons, or even a strict requirement. Automatic gradient boosting simplifies this idea one step further, using only gradient boosting as a single learning algorithm in combination with model-based hyperparameter tuning, threshold optimization and encoding of categorical features. We introduce this general framework as well as a concrete implementation called autoxgboost. It is compared to current AutoML projects on 16 datasets and despite its simplicity is able to achieve comparable results on about half of the datasets as well as performing best on two.

연구 동기 및 목표

• 조합적 알고리즘 선택이 아닌 단일 강력한 알고리즘인 기울기 부스팅에 집중하여 AutoML를 단순화한다.
• 실제 응용에서 검증, 배포, 해석이 더 쉬운 모델 복잡도를 낮춘다.
• 초모수 조정, 임계값 최적화, 특징 전처리 자동화를 통해 최소한의 인간 간섭으로 높은 성능을 달성한다.
• 단일 학습기 기반 AutoML 접근 방식이 다중 학습기 AutoML 프레임워크의 예측 성능을 따라하거나 뛰어넘을 수 있는지 평가한다.

제안 방법

• 프레임워크는 유일한 학습 알고리즘으로 XGBoost를 사용하며, 그 강건성과 뛰어난 예측 성능을 활용한다.
• 초모수는 사전 정의된 검색 공간을 사용한 베이지안 최적화를 통해 조정되며, 학습률, 최대 깊이, 서브샘플, L1/L2 정규화를 포함한다.
• 분류 작업의 경우, 기본 임계값을 초월해 정확도를 향상시키기 위해 최적의 결정 임계값을 반복적으로 최적화한다.
• 범주형 특징은 스무딩을 적용한 타겟 인코딩을 사용하여 비수치 입력을 효과적으로 처리한다.
• 자동 데이터 전처리(결측치 처리 및 특징 스케일링 포함)가 포함된 파이프라인을 구현한다.
• 전체 워크플로우는 자동화되어 있으며, 데이터셋 외에 인간의 간섭 없이 모델 선택이나 설정이 필요하지 않다.

실험 결과

연구 질문

• RQ1 기울기 부스팅 기반 단일 학습기 AutoML 시스템이 auto-sklearn 및 Auto-WEKA와 같은 다중 학습기 AutoML 프레임워크와 비교해 경쟁력 있는 성능을 낼 수 있는가?
• RQ2 단일 알고리즘에 집중함으로써 실세계 환경에서 모델의 해석 가능성과 구현 용이성이 향상되는가?
• RQ3 베이지안 최적화가 XGBoost의 포괄적인 초모수와 임계값을 조정하는 데 얼마나 효과적인가?
• RQ4 자동화된 범주형 특징 인코딩과 임계값 최적화가 분류 성능을 크게 향상시킬 수 있는가?
• RQ5 다양한 특성을 지닌 다양한 데이터셋에서 단일 알고리즘 기반 AutoML 시스템의 성능이 안정적인가?

주요 결과

• autoxgboost는 Dexter와 Semeion 두 데이터셋에서 Auto-WEKA 및 auto-sklearn를 모두 앞서는 최고의 성능을 기록했다.
• 16개 데이터셋 중 9개에서 auto-sklearn가 최고 성능을 기록하여, 다중 학습기 앙상블이 많은 경우에 여전히 우위를 점하고 있음을 시사한다.
• autoxgboost는 약 절반의 데이터셋에서 경쟁력 있는 결과를 내며, 여러 벤치마크에서 auto-sklearn와 5% 이내의 중앙값 오차율을 기록했다.
• Secom 제외 전부의 데이터셋에서 다수 클래스 기반 모델보다 유의미하게 뛰어난 성능을 보이며, 시스템의 정상 작동과 효과성을 확인했다.
• 단일이고 잘 이해된 알고리즘(XGBoost)을 사용함으로써 특징 기여도와 SHAP 값을 통한 모델의 해석 가능성은 향상되었다.
• 초모수 검색 공간이 작음에도 불구하고 autoxgboost는 뛰어난 성능을 보이며, 단일 알고리즘에 대한 철저한 조정이 매우 효과적일 수 있음을 시사한다.