[논문 리뷰] Automating biomedical data science through tree-based pipeline optimization

Randal S. Olson, Ryan J. Urbanowicz외 4명|arXiv (Cornell University)|2016. 01. 28.

Evolutionary Algorithms and Applications참고 문헌 13인용 수 26

한 줄 요약

이 논문은 생물의학 데이터를 위한 기계학습 파이프라인을 자동으로 설계하고 최적화하는 트리 기반 파이프라인 최적화 도구인 TPOT를 소개한다. TPOT는 시뮬레이션된 유전 데이터셋과 실제 유전 데이터셋에서 경쟁 가능한 분류 정확도를 달성하며, 성능을 향상시키는 새로운 합성 특성 생성자들을 발견함과 동시에 오버피팅 등의 과제와 더 나은 빌딩 블록이 필요하다는 점을 드러낸다.

ABSTRACT

Over the past decade, data science and machine learning has grown from a mysterious art form to a staple tool across a variety of fields in academia, business, and government. In this paper, we introduce the concept of tree-based pipeline optimization for automating one of the most tedious parts of machine learning---pipeline design. We implement a Tree-based Pipeline Optimization Tool (TPOT) and demonstrate its effectiveness on a series of simulated and real-world genetic data sets. In particular, we show that TPOT can build machine learning pipelines that achieve competitive classification accuracy and discover novel pipeline operators---such as synthetic feature constructors---that significantly improve classification accuracy on these data sets. We also highlight the current challenges to pipeline optimization, such as the tendency to produce pipelines that overfit the data, and suggest future research paths to overcome these challenges. As such, this work represents an early step toward fully automating machine learning pipeline design.

연구 동기 및 목표

• 생물의학 데이터 과학에서 기계학습 파이프라인 설계의 번거로운 과정을 자동화하기 위해.
• 최적의 데이터 변환, 특성 공학, 기계학습 모델을 자동으로 선택할 수 있는 시스템을 개발하기 위해.
• 진화 계산이 실제 및 시뮬레이션된 유전 데이터에서 높은 성능을 내고 일반화 가능한 파이프라인을 발견할 수 있는지 평가하기 위해.
• 오버피팅 및 파이프라인 최적화에서 효과적인 빌딩 블록의 부족과 같은 한계를 특정하기 위해.
• 데이터 과학에서 완전히 자동화되고 지능적인 파이프라인 구축의 기반을 마련하기 위해.

제안 방법

• TPOT는 기계학습 파이프라인을 추상 구문 트리로 표현하여 유전적 프로그래밍을 사용해 진화시킨다.
• 각 파이프라인은 데이터 전처리, 특성 선택, 특성 생성, 모델 피팅 등의 순차적 연산으로 구성된다.
• 일반화를 촉진하기 위해 보존된 테스트 세트에서 균형 정확도를 평가하여 적합도를 평가한다.
• 알고리즘은 파이프라인 트리에 대해 선택, 교차, 변이를 수행하여 검색 공간을 효율적으로 탐색한다.
• 진화 연산자는 모델 유형과 하이퍼파rameter 모두에 적용되어 종단 간 최적화를 가능하게 한다.
• 시스템은 시뮬레이션된 상호작용 유전 데이터셋과 실제 CGEMS 전립선 암 데이터셋에서 평가되었다.

실험 결과

연구 질문

• RQ1 유전적 프로그래밍이 생물의학 데이터를 위한 기계학습 파이프라인 설계를 효과적으로 자동화할 수 있는가?
• RQ2 TPOT는 분류 정확도를 향상시키는 새로운 파이프라인 연산자(예: 합성 특성 생성자)를 발견하는가?
• RQ3 TPOT의 안내된 검색은 성능 및 효율성 측면에서 무작위 검색보다 어떻게 비교되는가?
• RQ4 TPOT 파이프라인의 오버피팅 정도는 어느 정도이며, 일반화를 향상시키기 위한 방법은 무엇인가?
• RQ5 TPOT는 알려진 생물학적 마커를 식별할 수 있는가? 이는 지식 발견 잠재력의 증거가 되는가?

주요 결과

• TPOT는 시뮬레이션된 유전 데이터셋과 실제 유전 데이터셋 모두에서 랜덤 포레스트 및 의사결정 트리와 같은 베이스라인 모델을 능가하는 경쟁 가능한 분류 정확도를 달성했다.
• CGEMS 전립선 암 데이터셋에서 TPOT는 분류 정확도를 크게 향상시킨 합성 특성들을 발견했으며, 이는 이전에 전립선 암의 치명적인 경과와 관련이 있다고 알려진 SNPs인 NAT2와 BCL2를 포함했다.
• 시스템은 특성 공학의 표준 방식을 초월해 성능을 향상시키는 새로운 파이프라인 연산자, 즉 합성 특성 생성자를 발견했다.
• 초기 시험에서 유전적 프로그래밍을 통한 안내된 검색이 무작위 검색을 능가하지 못했으며, 이는 진화가 작용할 수 있는 효과적인 빌딩 블록의 부족함을 시사한다.
• TPOT 파이프라인은 테스트 세트에 대해 오버피팅을 보였으며, 다목적 최적화와 같은 개선된 일반화 전략이 필요하다는 것을 시사한다.
• 결과적으로 TPOT는 관련 특성과 상호작용을 식별함으로써 생물학적 지식 발견에 기여할 수 있음을 시사한다.