[논문 리뷰] AutoCompete: A Framework for Machine Learning Competition

Abhishek Thakur, Artus Krohn-Grimberghe|arXiv (Cornell University)|2015. 07. 08.

Machine Learning and Data Classification참고 문헌 4인용 수 9

한 줄 요약

AutoCompete는 표본 데이터 경쟁 대회에서 인간의 간섭을 최소화하기 위해 데이터 유형 탐지, 특징 공학, 모델 선택, 하이퍼파rameter 튜닝을 자동화하는 완전 자동화된 머신러닝 프레임워크이다. scikit-learn과 파이썬만을 사용하여 경쟁적인 성능을 달성하였으며, Adult, MNIST, Newsgroups-20 등 다양한 데이터셋에서 기존의 hyperopt 및 그리드 서치와 유사하거나 그 이상의 성능을 보였다. AutoML 챌린지에서 2위를 기록하였다.

ABSTRACT

In this paper, we propose AutoCompete, a highly automated machine learning framework for tackling machine learning competitions. This framework has been learned by us, validated and improved over a period of more than two years by participating in online machine learning competitions. It aims at minimizing human interference required to build a first useful predictive model and to assess the practical difficulty of a given machine learning challenge. The proposed system helps in identifying data types, choosing a machine learn- ing model, tuning hyper-parameters, avoiding over-fitting and optimization for a provided evaluation metric. We also observe that the proposed system produces better (or comparable) results with less runtime as compared to other approaches.

연구 동기 및 목표

• 모델 구축 및 하이퍼파rameter 튜닝을 자동화하여 기계학습 경쟁에서 인간의 참여를 최소화하기 위해.
• 100개 이상의 기계학습 경쟁에서의 경험을 학습하여 다양한 표본 데이터셋에 일반화할 수 있는 프레임워크를 구축하기 위해.
• 전문 지식이나 간섭 없이도 초보자 사용자가 정확한 예측 모델을 구축할 수 있도록 하기 위해.
• 분류 및 회귀 작업 전반에 걸쳐 AUC, F1 점수, 정확도와 같은 특정 평가 지표를 최적화하기 위해.
• 속도와 예측 성능 측면에서 기존의 자동 기계학습 프레임워크인 hyperopt 및 그리드 서치와 견줄 만하거나 그 이상의 성능을 내기 위해.

제안 방법

• 데이터 유출을 방지하고 일반화를 보장하기 위해 데이터를 분류된 훈련 및 검증 세트로 분할한다.
• 해우리스틱을 사용하여 데이터 유형(예: 수치형, 텍스트)을 자동으로 식별하고 도메인 전용 전처리 파이프라인을 적용한다.
• 모델 선택 이전에 특징 선택 및 변환 파이프라인을 적용하며, 모든 변환을 저장하고 검증 세트에 재사용한다.
• 모델 선택기에서는 다양한 알고리즘(예: 랜덤 포레스트, SVM, 로지스틱 회귀)을 평가하고 목표 지표에 기반해 가장 우수한 성능을 보이는 것을 선택한다.
• 하이퍼파rameter 튜닝은 그리드 서치 또는 랜덤 서치를 통해 수행되며, 효율성을 확보하기 위해 30분의 월 타임 제한을 설정한다.
• 데이터 전처리, 특징 선택, 모델 훈련, 평가를 자동 워크플로우로 연결하는 파이프라인 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 완전 자동화된 기계학습 프레임워크가 최소한의 인간 입력으로 실제 기계학습 경쟁에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 AutoCompete의 성능가 기존의 자동 기계학습 프레임워크인 hyperopt 및 그리드 서치와 비교해 다양한 표본 데이터셋에서 어떻게 다른가?
• RQ3 수백 개의 기계학습 경쟁에서 쌓인 지식을 어떻게 활용하여 모델 선택 및 하이퍼파rameter 튜닝을 향상시킬 수 있는가?
• RQ4 수동 설정 없이도 다양한 데이터 유형(예: 텍스트, 수치형, 혼합형)과 학습 작업(분류, 회귀)에 일반화할 수 있는가?
• RQ5 자동 모델 빌드에서 런타임 효율성과 예측 성능 사이의 상충 관계는 어떠한가?

주요 결과

• AutoCompete는 모델 스태커와 그리드 서치를 사용하여 Adult 데이터셋에서 AUC 0.88을 기록하여 비대칭 데이터에서 베이스라인 접근 방식을 능가하였다.
• MNIST 데이터셋에서 AutoCompete는 PCA + 랜덤 포레스트 파이프라인을 사용해 96%의 정확도를 달성하였으며, 표준 그리드 서치 및 libsvm 방법을 뛰어넘었다.
• Newsgroups-20 텍스트 분류 작업에서 AutoCompete는 가중 F1 점수 0.864를 기록하여 hyperopt-sklearn(0.856) 및 기타 베이스라인을 초월하였다.
• 스마트폰 데이터셋에서 AutoCompete는 로지스틱 회귀를 사용해 AUC 0.921을 기록하여 고차원 수치형 데이터에서 뛰어난 성능을 보였다.
• 주거 회귀 데이터셋에서 AutoCompete는 특징 선택 및 SVR을 적용한 랜덤 포레스트를 사용해 RMSE 2.3을 기록하여 혼합형 데이터에서의 강건성을 입증하였다.
• AutoCompete는 인간 간섭 없이 AutoML 챌린지 Phase 0에서 2위를 기록하여 실제 경쟁 환경에서의 효과성을 확인하였다.