[논문 리뷰] AutoML using Metadata Language Embeddings

Iddo Drori, Lu Liu외 6명|arXiv (Cornell University)|2019. 10. 08.

Topic Modeling참고 문헌 15인용 수 17

한 줄 요약

이 논문은 데이터셋 메타데이터와 기계학습 파이프라인 문서의 자연어 처리(NLP) 임베딩을 활용하여 자동화된 기계학습(AutoML)을 향상시키는 메타-AutoML 프레임워크를 제안한다. 데이터셋 및 알고리즘 설명의 임베딩을 기반으로 최적의 파이프라인 간 유사도를 예측하는 신경망을 훈련시킴으로써, 이 시스템은 최첨단 도구들과 경쟁 가능한 제로샷 AutoML 성능을 달성한다. 한 번의 실행에도 1초 이내에 거의 최적의 결과를 도출하며, 1분 이내 계산 제한 조건에서 OBOE, AutoSklearn, AlphaD3M, TPOT를 모두 능가한다.

ABSTRACT

As a human choosing a supervised learning algorithm, it is natural to begin by reading a text description of the dataset and documentation for the algorithms you might use. We demonstrate that the same idea improves the performance of automated machine learning methods. We use language embeddings from modern NLP to improve state-of-the-art AutoML systems by augmenting their recommendations with vector embeddings of datasets and of algorithms. We use these embeddings in a neural architecture to learn the distance between best-performing pipelines. The resulting (meta-)AutoML framework improves on the performance of existing AutoML frameworks. Our zero-shot AutoML system using dataset metadata embeddings provides good solutions instantaneously, running in under one second of computation. Performance is competitive with AutoML systems OBOE, AutoSklearn, AlphaD3M, and TPOT when each framework is allocated a minute of computation. We make our data, models, and code publicly available.

연구 동기 및 목표

• 자연어로 작성된 데이터셋 설명과 알고리즘 문서를 자동 파이프라인 선택에 통합함으로써 AutoML 성능을 향상시키는 것.
• 데이터셋과 알고리즘의 의미적 임베딩을 사용해 즉각적으로 고성능 파이프라인을 추천하는 제로샷 AutoML 시스템을 개발하는 것.
• Kaggle 경진대회에서 유래한 구조화된 메타데이터, 작업, 실행 가능한 파이프라인을 포함한 새로운 벤치마크 데이터셋인 AutoKaggle를 구축하는 것.
• 유사한 데이터셋과 최적의 파이프라인이 가까이 임베딩되는 거리 메트릭 공간을 학습함으로써, 다양한 데이터셋 간 전이 학습을 가능하게 하는 것.
• 비정형 텍스트(예: 데이터셋 제목, 설명, 알고리즘 문서)의 NLP 기반 임베딩이 AutoML 추천 정확도를 크게 향상시킬 수 있음을 입증하는 것.

제안 방법

• 사전 훈련된 언어 모델을 사용해 자유형 텍스트 데이터셋 메타데이터(제목, 설명, 키워드)와 알고리즘 문서로부터 고밀도 벡터 임베딩을 생성한다.
• 최적의 파이프라인이 유사한 데이터셋 간의 거리를 최소화하도록, 데이터셋 임베딩 간의 유사도를 학습하는 신경망을 구축한다.
• 제로샷 추론 전략을 사용한다: 새로운 데이터셋에 대해 메타데이터 임베딩을 계산하고, 가장 가까운 훈련 데이터셋에 대해 알려진 최고의 파이프라인을 검색한다.
• 각 파이프라인이 구성 요소와 문서에서 유도된 벡터로 표현되는 파이프라인 임베딩 공간을 도입한다.
• 데이터셋 임베딩 간의 거리와 해당 데이터셋의 최적 파이프라인 임베딩 간의 거리가 일치하도록 하는 메트릭 학습 목표를 정의한다.
• AutoKaggle 데이터셋을 사용해 프레임워크를 평가한다. 이는 Kaggle 경진대회 메타데이터, 작업, 실행 가능한 파이프라인을 Scikit-learn 호환 형식으로 변환한 총정리된 컬렉션이다.

실험 결과

연구 질문

• RQ1 기존의 메타기능 대비, 데이터셋 메타데이터의 NLP 임베딩이 제로샷 AutoML 성능 향상에 기여하는가?
• RQ2 기계학습 파이프라인 문서의 임베딩이 다양한 데이터셋 간 AutoML 시스템의 일반화 능력을 향상시키는가?
• RQ3 데이터셋 임베딩과 파이프라인 임베딩 간의 공동 메트릭 공간 학습이 AutoML에서의 전이 성능 향상에 기여하는가?
• RQ4 시간 제약 조건 하에서, 메타데이터 임베딩을 사용한 제로샷 AutoML 시스템의 성능이 최첨단 AutoML 프레임워크와 비교해 어떻게 되는가?
• RQ5 Kaggle에서 인간이 제출한 우승 파이프라인이 학습된 임베딩에서 유도된 추천과 얼마나 일치하는가?

주요 결과

• 단지 데이터셋 메타데이터 임베딩만을 사용하는 제로샷 AutoML 시스템(Ours DE)은 9개의 표준 분류 데이터셋에서 평균 정확도 0.87을 달성하며, 1초 이내에 실행된다.
• 파이프라인 임베딩 기반 시스템(Ours PE)은 베이스라인 AutoML 도구를 능가하며, HR 데이터셋에서는 0.90의 정확도를 기록했고, 타이타닉 데이터셋에서는 0.87의 정확도를 달성하여 인간이 제출한 파이프라인과 동일하거나 이를 초월한다.
• 시애틀 데이터셋에서는 제로샷 모드에서 정확도 1.00을 달성했으며, 1분 이내 계산 제한 조건에서 OBOE 및 TPOT와 동일한 성능을 보였다.
• 모든 도구가 1분의 계산 시간을 할당받을 경우, 이 방법은 9개 데이터셋 중 6개에서 OBOE, AutoSklearn, AlphaD3M, TPOT를 모두 능가한다.
• 신경 메트릭 학습 프레임워크는 데이터셋과 최적의 파이프라인 간의 의미적 유사성을 성공적으로 포착하여, 텍스트 기반 메타데이터만으로도 정확한 제로샷 추천이 가능하게 했다.
• 100개 이상의 Kaggle 경진대회 솔루션을 포함한 AutoKaggle 데이터셋은 실행 가능한 Scikit-learn 형식으로 제공되며, AutoML 시스템의 재현 가능성 있는 평가 및 벤치마킹을 가능하게 한다.