[논문 리뷰] Identifying and Harnessing the Building Blocks of Machine Learning Pipelines for Sensible Initialization of a Data Science Automation Tool

Randal S. Olson, Jason H. Moore|arXiv (Cornell University)|2016. 07. 29.

Evolutionary Algorithms and Applications인용 수 5

한 줄 요약

이 논문은 기계학습 파이프라인 빌딩 블록 100개(전처리 및 모델링 작업의 짧은 시퀀스)를 식별하고 이를 활용하여 유전적 프로그래밍 기반 자동 기계학습(AutoML) 시스템인 TPOT에 타당한 초기화 방법을 제안한다. 이 방법은 한 벤치마크에서 TPOT의 성능을 크게 향상시키지만 다른 벤치마크에서는 성능 저하 없이 유지하며, 전문가가 도출한 파이프라인 패턴이 AutoML의 효율성과 효과성 향상에 기여할 수 있음을 보여준다.

ABSTRACT

As data science continues to grow in popularity, there will be an increasing need to make data science tools more scalable, flexible, and accessible. In particular, automated machine learning (AutoML) systems seek to automate the process of designing and optimizing machine learning pipelines. In this chapter, we present a genetic programming-based AutoML system called TPOT that optimizes a series of feature preprocessors and machine learning models with the goal of maximizing classification accuracy on a supervised classification problem. Further, we analyze a large database of pipelines that were previously used to solve various supervised classification problems and identify 100 short series of machine learning operations that appear the most frequently, which we call the building blocks of machine learning pipelines. We harness these building blocks to initialize TPOT with promising solutions, and find that this sensible initialization method significantly improves TPOT's performance on one benchmark at no cost of significantly degrading performance on the others. Thus, sensible initialization with machine learning pipeline building blocks shows promise for GP-based AutoML systems, and should be further refined in future work.

연구 동기 및 목표

• 유전적 프로그래밍 기반 AutoML 시스템의 느린 수렴 문제를 전문 지식을 초기화 단계에 통합하여 해결하고자 한다.
• 대규모 이전 파이프라인 데이터베이스에서 반복적으로 나타나는 기계학습 작업의 시퀀스(빌딩 블록)를 식별하고자 한다.
• 이 빌딩 블록을 사용해 TPOT의 유전적 프로그래밍 집단을 초기화하면 다양한 분류 벤치마크에서 TPOT의 성능 향상 여부를 평가하고자 한다.
• 메타특성과 메타러닝을 활용해 향후 AutoML 시스템의 초기화 과정을 더욱 정교화할 수 있는지 탐색하고자 한다.
• 사용자가 수동으로 조정할 수 있는 인간 수준의 성능을 내는 파이프라인을 생성함으로써 TPOT를 데이터 과학 보조자로 위치시키고자 한다.

제안 방법

• 160개의 지도 학습 분류 파이프라인으로 구성된 대규모 데이터베이스를 분석하여 기계학습 작업의 짧은 시퀀스 중 100개를 가장 자주 발생하는 것으로 추출하였다.
• 전처리 및 모델링 단계의 작은 재사용 가능한 시퀀스(예: 정규화 + 랜덤 포레스트)를 반복적으로 나타나는 효과적인 파이프라인에서 발견된 '빌딩 블록'으로 정의하였다.
• 이러한 빌딩 블록을 TPOT의 유전적 프로그래밍 알고리즘의 초기 집단에 통합하여 '타당한 초기화'(SI) 전략을 구현하였다.
• 진화 과정에서 분류 정확도를 최대화하고 파이프라인 복잡도를 최소화하는 데 목적이 있는 파레토 최적화를 사용하였다.
• TPOT의 성능 향상 여부를 평가하기 위해 표준 TPOT와 비교하여 160개의 벤치마크 데이터셋에서 테스트를 수행하였다.
• 재현 가능성과 커뮤니티의 도입을 위해 Python으로 구현된 오픈소스 TPOT를 활용하였다.

실험 결과

연구 질문

• RQ1 자주 발생하는 기계학습 파이프라인 패턴(빌딩 블록)을 식별하고, 이를 유전적 프로그래밍 기반 AutoML 시스템의 초기화에 활용할 수 있는가?
• RQ2 이러한 빌딩 블록을 사용한 타당한 초기화가 랜덤 초기화보다 TPOT의 수렴 속도를 빠르게 하고 정확도를 높이는가?
• RQ3 타당한 초기화로 얻는 성능 향상은 다양한 기계학습 벤치마크에서 일관되게 나타나는가, 아니면 데이터셋에 따라 달라지는가?
• RQ4 메타특성과 메타러닝을 활용해 특정 데이터셋에 적합한 빌딩 블록 선택을 더욱 정교화할 수 있는가?
• RQ5 빌딩 블록의 사용이 정확도와 단순성 측면에서 기대되는 파이프라인의 다양성과 품질에 어떤 영향을 미치는가?

주요 결과

• 저자는 160개의 분류 파이프라인 데이터베이스에서 100개의 자주 발생하는 기계학습 파이프라인 빌딩 블록을 식별하였다.
• 이러한 빌딩 블록을 사용한 타당한 초기화는 한 벤치마크에서 TPOT의 성능을 크게 향상시켰지만 다른 벤치마크에서는 성능 저하 없이 유지되었다.
• TPOT-SI는 160개의 벤치마크 중 52개에서 중앙값 균형 정확도가 90% 이상, 79개에서는 80% 이상을 달성하여 강력한 일반화 능력을 보였다.
• 전문 지식을 초기 집단에 통합함으로써 광범위한 탐색의 필요성을 줄여 수렴 속도를 가속화하는 데 성공하였다.
• 결과적으로 빌딩 블록는 GP 기반 AutoML에서 효과적인 사전 지식로 기능할 수 있으며, 솔루션 품질을 훼손하지 않으면서도 효율성을 향상시킬 수 있음을 시사한다.
• 이 방법은 TPOT가 사용자가 수동으로 조정할 수 있는 고성능의 파이프라인을 생성하고, 이를 내보낼 수 있는 Python 코드를 제공함으로써 데이터 과학 보조자로서의 비전을 뒷받침한다.