[논문 리뷰] Efficient AutoML Pipeline Search with Matrix and Tensor Factorization

Chengrun Yang, Jicong Fan외 2명|arXiv (Cornell University)|2020. 06. 07.

Tensor decomposition and applications참고 문헌 62인용 수 4

한 줄 요약

이 논문은 다양한 데이터셋 간의 파이프라인 성능을 모델링하기 위해 행렬 및 텐서 분해를 사용하는 효율적인 AutoML 파이프라인 검색 시스템을 제안한다. 저랭크 대체 모델과 탐욕적 실험 설계를 활용하여 고비용의 파이프라인 평가 횟수를 줄이며, 대규모 데이터셋에서도 설계 시간이 10초 미만으로 상태의 최고 성능을 달성한다.

ABSTRACT

Data scientists seeking a good supervised learning model on a new dataset have many choices to make: they must preprocess the data, select features, possibly reduce the dimension, select an estimation algorithm, and choose hyperparameters for each of these pipeline components. With new pipeline components comes a combinatorial explosion in the number of choices! In this work, we design a new AutoML system to address this challenge: an automated system to design a supervised learning pipeline. Our system uses matrix and tensor factorization as surrogate models to model the combinatorial pipeline search space. Under these models, we develop greedy experiment design protocols to efficiently gather information about a new dataset. Experiments on large corpora of real-world classification problems demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 컴ponent와 하이퍼파라미터 조합의 수가 매우 많아지는 상황에서 발생하는 조합 폭발 문제를 해결하기 위해.
• 새로운 데이터셋에 대해 평가할 정보가 풍부한 파이프라인을 효율적으로 선택하여 AutoML에서의 냉각기 문제를 극복하기 위해.
• 저랭크 구조를 사용해 데이터셋 간 일반화 가능한 대체 모델을 개발하여 평가 비용을 줄이기 위해.
• 행렬/텐서 분해와 탐욕적 실험 설계를 조합하여 신속하고 확장 가능한 파이프라인 선택을 가능하게 하기 위해.
• 최소한의 런타임 오버헤드로 기존 AutoML 시스템을 초월하여 높은 성능을 달성하기 위해

제안 방법

• 데이터셋, 컴ponent, 하이퍼파라미터 간의 종속성을 포괄하기 위해 저랭크 분해를 사용해 파이프라인 성능을 행렬 또는 텐서로 모델링하기 위해.
• 행렬 및 텐서 분해를 사용해 데이터셋과 파이프라인의 임베딩을 학습하여 데이터셋 간 전이 학습을 가능하게 하기 위해.
• 성능 예측의 정규화를 최소화하기 위해 가장 정보가 많은 파이프라인을 먼저 평가할 수 있도록 탐욕적 실험 설계를 적용하기 위해.
• 파이프라인 성능의 비선형 관계를 다룰 수 있도록 커널 기반의 행렬 모델을 적용하기 위해.
• 데이터셋 크기와 특성 수를 기반으로 다항식 런타임 예측 모델을 통합하여 시간 제약 조건이 있는 파이프라인 선택을 지원하기 위해.
• 명시적 최적화 없이도 하이퍼파라미터 그리드 전역에서 성능을 예측함으로써 하이퍼파라미터 랜드스케이프를 구성하기 위해

실험 결과

연구 질문

• RQ1 저랭크 행렬 및 텐서 분해 모델은 다양한 데이터셋에 걸쳐 AutoML 파이프라인의 조합 공간을 효과적으로 표현할 수 있는가?
• RQ2 탐욕적 실험 설계는 새로운 데이터셋에 대해 평가할 가장 정보가 많은 파이프라인을 얼마나 효율적으로 식별할 수 있는가?
• RQ3 기존 데이터에서 학습된 대체 모델이 최소한의 평가로도 새로운 데이터셋에서의 파이프라인 성능을 얼마나 정확하게 예측할 수 있는가?
• RQ4 다양한 추정기 유형과 하이퍼파라미터 범위에 대해 일반화되면서도 예측 정확도를 유지할 수 있는가?
• RQ5 런타임 예측 통합이 실질적으로 시간 제약 조건이 있는 파이프라인 선택을 어떻게 향상시키는가?

주요 결과

• 시스템은 대규모 데이터셋에서도 설계 시간이 10초 미만으로 상태의 최고 성능을 달성하며 AutoML 파이프라인 선택에서 최고 수준의 성능을 보였다.
• 215×23424 오차 행렬에서, 탐욕적 방법은 100회의 평가 후 랜덤 선택 대비 정규화를 30% 감소시켰다.
• 모든 추정기 유형에서 런타임 예측 모델이 2배 이내 정확도를 70% 이상 달성했으며, 다층 퍼셉트론의 경우 정확도가 74.5%에 도달했다.
• 예측된 하이퍼파라미터 랜드스케이프는 실제 랜드스케이프와 유사하게 전역적 추세와 세밀한 변동을 잘 포착했으며, 굵은 그리드로도 충분했다.
• 새로운 데이터셋당 파이프라인 평가 횟수가 구성 요소의 수와 무관하게 일정한 수준으로 유지되었다.
• 다양한 OpenML 데이터셋에서 높은 안정성을 보이며, 다양한 추정기 유형과 데이터 특성에 걸쳐 일관된 성능을 보였다.