[논문 리뷰] RankML: a Meta Learning-Based Approach for Pre-Ranking Machine Learning Pipelines

Doron Laadan, Roman Vainshtein외 3명|arXiv (Cornell University)|2019. 10. 31.

Machine Learning and Data Classification참고 문헌 25인용 수 6

한 줄 요약

RankML는 사전에 분석된 데이터셋과 파이프라인 구조의 메타특성 정보를 바탕으로, 실행하지 않고도 주어진 데이터셋에 적합한 머신러닝 파이프라인을 예측하고 순위를 매기는 메타러닝 기반 접근법이다. 이는 244개의 데이터셋에서 최신 기술 수준의 성능을 달성하며, 인fer 시간이 거의 즉각적(O(1) 복잡도)이어서 TPOT 및 auto-sklearn과 같은 계산 비용이 큰 기준 모델들을 능가하거나 그 수준을 유지하면서도 런타임을 수시간에서 수초로 단축시킨다.

ABSTRACT

The explosion of digital data has created multiple opportunities for organizations and individuals to leverage machine learning (ML) to transform the way they operate. However, the shortage of experts in the field of machine learning -- data scientists -- is often a setback to the use of ML. In an attempt to alleviate this shortage, multiple approaches for the automation of machine learning have been proposed in recent years. While these approaches are effective, they often require a great deal of time and computing resources. In this study, we propose RankML, a meta-learning based approach for predicting the performance of whole machine learning pipelines. Given a previously-unseen dataset, a performance metric, and a set of candidate pipelines, RankML immediately produces a ranked list of all pipelines based on their predicted performance. Extensive evaluation on 244 datasets, both in regression and classification tasks, shows that our approach either outperforms or is comparable to state-of-the-art, computationally heavy approaches while requiring a fraction of the time and computational cost.

연구 동기 및 목표

• 자동화된 머신러닝(AutoML) 파이프라인 생성의 높은 계산 비용과 긴 학습 시간 문제를 해결하기 위해.
• 이전에 분석된 데이터셋과 파이프라인으로부터의 메타지식을 활용하여 고비용의 파이프라인 평가에 의존도를 줄이기 위해.
• 데이터의 메타특성과 파이프라인 아키텍처의 상호작용을 모델링하여, 새로운 데이터셋에 대해 빠르고 확장 가능한 파이프라인 사전 순위 매김을 가능하게 하기 위해.
• 다양한 분류 및 회귀 작업에서의 파이프라인 성능에 대한 공개 가능한 데이터셋을 구축하기 위해.
• 메타러닝이 대상 데이터셋에서 재평가 없이도 파이프라인 성능을 효과적으로 예측할 수 있음을 입증하기 위해.

제안 방법

• RankML는 데이터셋(예: 통계적 성질, 클래스 분포)과 파이프라인 토폴로지(예: 프리미티브의 순서, 모델 유형)에서 메타특성을 구성한다.
• 기존 파이프라인 성능 결과의 대규모 데이터셋을 기반으로 훈련하는 메타러닝 프레임워크를 활용하여, 새로운 데이터셋에 대한 순위 예측을 수행한다.
• 데이터 수준과 파이프라인 수준의 메타특성을 조합하여 데이터 특성과 파이프라인 아키텍처 간의 상호작용을 모델링한다.
• RankML는 파이프라인을 실행하지 않고도 예측된 성능 지표(예: 정확도, MSE)를 바탕으로 후보 파이프라인의 순위 목록을 생성한다.
• 244개의 데이터셋과 100개 이상의 파이프라인으로 구성된 지식 기반을 활용하여 다양한 머신러닝 작업에 일반화한다.
• 추론 시간이 거의 O(1)이므로 계산이 매우 효율적이며, 실시간 사전 순위 매김이 가능하다.

실험 결과

연구 질문

• RQ1 실행하지 않고도 전체 머신러닝 파이프라인의 성능을 예측하는 데 메타러닝을 사용할 수 있는가?
• RQ2 데이터셋 메타특성과 파이프라인 토폴로지의 조합 표현이 파이프라인 순위 예측에 얼마나 효과적인가?
• RQ3 메타러닝 시스템이 계산 비용을 크게 줄이며 상태의 최신 기술 수준의 AutoML 프레임워크를 능가하거나 그 수준을 유지할 수 있는가?
• RQ4 평가하는 상위 순위 파이프라인의 수가 늘어날수록 RankML의 성능는 어떻게 변화하는가?
• RQ5 훈련 중에 볼 수 없었던 특성을 가진 데이터셋으로의 일반화 능력은 어느 정도인가?

주요 결과

• 분류 작업에서 상위 순위 파이프라인을 고려했을 때, RankML는 TPOT 및 auto-sklearn과 비교해 39%의 데이터셋에서 더 나은 또는 유사한 성능(BOC)을 달성했다.
• 회귀 작업에서는 상위 10개의 파이프라인을 평가했을 때 RankML가 57%의 데이터셋에서 BOC 성능을 달성했으며, 최소한의 계산으로 기준 모델들과 동등하거나 그 이상의 성능를 보였다.
• RankML는 평균적으로 회귀 작업에 1분, 분류 작업에 3분이 소요되었으며, 이는 각각 TPOT의 53분과 115분과 비교해 극적으로 감소한 것이다.
• Friedman 검정을 통해 RankML의 성능가 기준 모델들과 95% 신뢰수준에서 통계적으로 구분되지 않는 것으로 확인되었다.
• 회귀 작업에서 K ≥ 8일 때 RankML는 auto-sklearn(E)의 성능을 따라잡았으며, 이는 단지 8개의 파이프라인만 평가해도 유사한 결과를 얻을 수 있음을 의미한다.
• RankML가 추천한 상위 순위 파이프라인은 다양했으며, 최대 절댓값 스케일러(MaxAbsScaler, 16%)와 표준 스케일러(StandardScaler, 11%)가 가장 자주 사용된 전처리 프리미티브였다.