[논문 리뷰] Benchmarking Automatic Machine Learning Frameworks

Adithya Balaji, Alexander G. Allen|arXiv (Cornell University)|2018. 08. 17.

Cloud Computing and Resource Management참고 문헌 2인용 수 60

한 줄 요약

이 논문은 분류 및 회귀를 위한 OpenML 데이터셋에서 오픈 소스 AutoML 프레임워크(auto-sklearn, TPOT, auto_ml, H2O AutoML)의 성능을 벤치마크하여 성능 패턴을 비교한다.

ABSTRACT

AutoML serves as the bridge between varying levels of expertise when designing machine learning systems and expedites the data science process. A wide range of techniques is taken to address this, however there does not exist an objective comparison of these techniques. We present a benchmark of current open source AutoML solutions using open source datasets. We test auto-sklearn, TPOT, auto_ml, and H2O's AutoML solution against a compiled set of regression and classification datasets sourced from OpenML and find that auto-sklearn performs the best across classification datasets and TPOT performs the best across regression datasets.

연구 동기 및 목표

• 다양한 데이터셋에 걸쳐 선도적인 오픈 소스 AutoML 프레임워크의 성능을 평가한다.
• OpenML 데이터와 표준화된 지표를 사용하여 공정하고 재현 가능한 벤치마크 방법론을 제공한다.
• 제한된 시간 제약 하에서 AutoML 배포의 강점, 약점, 실용적 고려사항을 식별한다.

제안 방법

• 고정된 57개 분류 및 30개 회귀 OpenML 데이터세트를 벤치마크한다.
• 공정한 비교를 가능하게 하도록 프레임워크 구성 표준화(시간 제한, 시드, 지표).
• 분류의 주요 지표로 가중치된 F1-점수, 회귀의 주 지표로 MSE(비교 가능성을 위해 반전)를 사용한다.
• 대규모 계산 수요를 처리하기 위해 분산 컴퓨팅 설정(AWS Batch 및 베어메탈)을 사용한다.
• 데이터셋 전처리 요구사항 및 프레임워크별 한계를 문서화한다.
• 쌍대 프레임워크 성능 및 데이터세트 의존적 추세를 분석한다.

실험 결과

연구 질문

• RQ1 OpenML 데이터셋에서 어떤 AutoML 프레임워크가 분류 작업에서 가장 높은 성능을 달성하는가?
• RQ2 어떤 프레이워크가 회귀 작업에서 지배적인가?
• RQ3 프레임워크 성능은 데이터세트의 특성(크기, 차원 수, 클래스 분포 등)에 따라 어떻게 달라지는가?
• RQ4 분산 환경에서 AutoML 프레임워크를 확장할 때 발생하는 실용적 제한사항 및 실패 사례는 무엇인가?

주요 결과

• Auto-sklearn은 분류 데이터세트에서 최상의 성능을 보인다.
• TPOT은 회귀 데이터세트에서 최상의 성능을 보인다.
• 전반적인 결과는 데이터세트와 시드에 따라 높은 분산을 보이며, 코드베이스와 기능 세트의 영향력을 강조한다.
• AutoML 프레임워크는 특정 메모리 및 시간 제약 하에서 현저한 실패를 보이며, 자원 관리가 필요하다.
• 데이터세트와 시드가 결과에 상당한 영향을 미치므로 견고한 벤치마킹 설계가 요구된다.