[논문 리뷰] Evaluation of a Tree-based Pipeline Optimization Tool for Automating Data Science

Randal S. Olson, Nathan Bartley외 2명|arXiv (Cornell University)|2016. 03. 20.

Advanced Multi-Objective Optimization Algorithms참고 문헌 14인용 수 32

한 줄 요약

이 논문은 유전적 프로그래밍을 사용하여 기계 학습 파이프라인 설계를 자동화하는 트리 기반 파이프라인 최적화 도구인 TPOT을 소개한다. TPOT는 최소한의 사용자 입력으로도 경쟁 가능한 분류 정확도를 달성하며, 파레토 최적화는 무작위 검색보다 훨씬 더 컴act하고 해석 가능한 파이프라인을 생성한다.

ABSTRACT

As the field of data science continues to grow, there will be an ever-increasing demand for tools that make machine learning accessible to non-experts. In this paper, we introduce the concept of tree-based pipeline optimization for automating one of the most tedious parts of machine learning---pipeline design. We implement an open source Tree-based Pipeline Optimization Tool (TPOT) in Python and demonstrate its effectiveness on a series of simulated and real-world benchmark data sets. In particular, we show that TPOT can design machine learning pipelines that provide a significant improvement over a basic machine learning analysis while requiring little to no input nor prior knowledge from the user. We also address the tendency for TPOT to design overly complex pipelines by integrating Pareto optimization, which produces compact pipelines without sacrificing classification accuracy. As such, this work represents an important step toward fully automating machine learning pipeline design.

연구 동기 및 목표

• 비전문가를 위한 기계 학습 파이프라인 설계의 번거로운 과정을 자동화하기 위해.
• 사전 처리 단계, 모델, 하이퍼파라미터 선택에 있어 전문 지식 의존도를 줄이기 위해.
• 가이드된 진화적 탐색을 통해 파이프라인의 효율성과 해석 가능성 향상시키기 위해.
• 정확도와 파이프라인 복잡도의 균형을 이루기 위해 파레토 최적화 통합하기 위해.
• 자동화된 파이프라인 설계가 기본 기계 학습 분석을 능가할 수 있음을 입증하기 위해.

제안 방법

• TPOT는 기계 학습 파이프라인을 추상 구문 트리로 표현하여 유전적 프로그래밍을 사용해 진화시킨다.
• 각 파이프라인은 사전 정의된 검색 공간에서 선택된 데이터 전처리 및 모델링 연산자들의 순서로 구성된다.
• 교차 검증을 사용하여 훈련 데이터에서 분류 정확도를 기반으로 적합도를 평가한다.
• 정확도를 극대화하고 파이프라인 복잡도(연산자 수)를 최소화하는 동시에 최적화하기 위해 파레토 최적화 프레임워크를 통합한다.
• 다수의 세대에 걸쳐 선택, 교차, 변이 연산을 사용하여 고성능 파이프라인을 진화시킨다.
• 최종 파이프라인은 사용자 검토 및 배포를 위해 실행 가능한 파이썬 코드로 내보낸다.

실험 결과

연구 질문

• RQ1 무작위 입력 없이 유전적 프로그래밍을 사용한 자동 파이프라인 최적화가 기본 기계 학습 워크플로우를 능가할 수 있는가?
• RQ2 가이드된 진화적 탐색은 성능과 효율성 측면에서 무작위 파이프라인 생성 방식과 비교해 어떻게 다른가?
• RQ3 파레토 최적화는 분류 정확도를 훼손하지 않으면서도 파이프라인 복잡도를 효과적으로 줄일 수 있는가?
• RQ4 대규모 또는 복잡한 데이터 세트에서 TPOT의 확장성은 어떠한가?
• RQ5 TPOT는 인간 전문가가 간과할 수 있는 새로운 고성능 파이프라인 구성 요건을 어느 정도 발견할 수 있는가?

주요 결과

• TPOT는 다양한 실제 및 시뮬레이션 데이터 세트에서 기본 기계 학습 분석과 비교해 유사하거나 더 높은 분류 정확도를 달성했다.
• 모든 TPOT 및 TPOT-Pareto 실행은 48시간 이내에 완료되었으며, TPOT-Random은 더 큰 데이터 세트(예: Hill-Valley, spambase)에서 120시간 이내에 10,000개 평가를 완료하지 못했다.
• TPOT-Random 파이프라인의 평균 연산자 수는 6개였지만, TPOT와 TPOT-Pareto는 각각 평균 4개와 2개로, 가이드된 탐색이 훨씬 더 컴act한 결과를 낳음을 보여주었다.
• 유사한 정확도를 유지함에도 불구하고, TPOT-Pareto 파이프라인은 랜덤 파이프라인보다 훨씬 더 해석 가능하고 계산적으로 효율적이었다.
• 가이드된 진화적 탐색은 확장성과 효율성 측면에서 필수적이었으며, 무작위 탐색은 대규모 데이터 세트에서는 실행이 불가능해졌다.
• 파레토 최적화 통합을 통해 고성능이면서도 최소한의 복잡도를 가진 파이프라인을 발견할 수 있었으며, 이는 해석 가능성과 생산 환경 적합성을 향상시켰다.