[논문 리뷰] Preprocessor Selection for Machine Learning Pipelines

Brandon Schoenfeld, Christophe Giraud-Carrier외 3명|arXiv (Cornell University)|2018. 10. 23.

Machine Learning and Data Classification참고 문헌 5인용 수 8

한 줄 요약

이 논문은 기계학습 파이프라인에서 프리프로세서 선택을 지도하기 위해 메타러닝을 사용하는 것을 제안한다. 평균적으로 프리프로세싱은 정확도를 떨어뜨리지만, 가장 정확한 파이프라인은 여전히 이를 사용한다. 10,368개의 실험에 기반한 랜덤 포레스트 메타러닝 모델을 학습하여, 프리프로세서가 성능을 향상시키는지를 예측하는 데 62.6%의 정확도를 달성함으로써, AutoML 시스템이 지능적으로 프리프로세서를 선택하고 검색 공간을 줄일 수 있게 한다.

ABSTRACT

Much of the work in metalearning has focused on classifier selection, combined more recently with hyperparameter optimization, with little concern for data preprocessing. Yet, it is generally well accepted that machine learning applications require not only model building, but also data preprocessing. In other words, practical solutions consist of pipelines of machine learning operators rather than single algorithms. Interestingly, our experiments suggest that, on average, data preprocessing hinders accuracy, while the best performing pipelines do actually make use of preprocessors. Here, we conduct an extensive empirical study over a wide range of learning algorithms and preprocessors, and use metalearning to determine when one should make use of preprocessors in ML pipeline design.

연구 동기 및 목표

• 프리프로세싱이 기계학습 파이프라인 성능에 미치는 영향, 특히 분류 정확도와 런타임과의 관계를 조사한다.
• 메타러닝을 분류기 및 하이퍼파라미터 선택을 넘어서, 기계학습 파이프라인 내 프리프로세서 선택에까지 확장한다.
• 데이터셋 메타특성 기반으로 프리프로세서가 분류기 성능을 향상시킬지 여부를 예측하는 모델을 개발한다.
• 기본 전략과 비교하여 메타러닝 기반 프리프로세서 선택이 AutoML 환경에서 얼마나 효과적인지 평가한다.
• 선택된 분류기와 데이터셋 특성에 기반해 지능적으로 프리프로세서를 추천함으로써 AutoML 시스템의 검색 공간을 줄인다.

제안 방법

• OpenML에서 확보한 192개 데이터셋의 기계학습 파이프라인에서 10,368개 이상의 실험 데이터를 수집하였으며, 첫 번째 두 단계로 고정된 데이터 정제(보간 및 원-핫 인코딩)를 수행하였다.
• 8개의 프리프로세서(예: Min-Max 스케일러, PCA, 다항 특성)와 6개의 분류기(예: 랜덤 포레스트, 로지스틱 회귀)를 기본 하이퍼파라미터로 평가하였다.
• 각 데이터셋에서 18개의 단순 메타특성, 8개의 통계적 메타특성, 1개의 정보이론적 메타특성, 14개의 랜드마킹 메타특성을 추출하고, 원-핫 인코딩된 프리프로세서 식별자를 포함한 메타데이터셋을 구축하였다.
• 기본값(프리프로세서 없음) 대비 테스트 정확도 향상 여부를 예측하기 위해 랜덤 포레스트 분류기를 메타러닝 모델로 학습시켰다.
• 네 개의 에이전트(비어 있음, 무작위, 모드, 오라클)를 사용해 AutoML 환경을 시뮬레이션하였으며, 오라클은 학습된 메타러닝 모델을 활용해 프리프로세서 선택을 안내한다.
• 에이전트 성능은 브루트포스 검색을 통해 확보한 최적 파이프라인 대비 선택된 파이프라인이 얼마나 열등한지 측정함으로써 평가되었다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋과 분류기에서 프리프로세싱이 일관되게 분류 정확도를 향상시키는가?
• RQ2 메타러닝은 데이터셋 메타특성 기반으로 어떤 프리프로세서가 분류기 성능을 향상시킬지를 예측할 수 있는가?
• RQ3 AutoML 파이프라인에서 메타러닝 기반 프리프로세서 선택은 무작위, 모드 기반 또는 프리프로세싱 없음 전략과 비교해 어떻게 성능을 냈는가?
• RQ4 기계학습 파이프라인에서 프리프로세서를 사용할 경우 정확도와 런타임 사이의 상충 관계는 어떠한가?
• RQ5 메타모델은 데이터셋 특성과 선택된 분류기에 기반해 지능적으로 프리프로세서를 추천함으로써 AutoML 시스템의 검색 공간을 줄일 수 있는가?

주요 결과

• 평균적으로 프리프로세싱은 학습 및 예측 런타임을 단축시키지만, 테스트된 파이프라인 전반에 걸쳐 분류 정확도에 악영향을 미치는 경향이 있다.
• 평균적인 부정적 영향에도 불구하고, 가장 정확한 파이프라인(학습 및 테스트 데이터 모두)은 프리프로세서를 포함할 가능성이 뚜렷하게 높다.
• 메타러닝 모델은 프리프로세서가 기본값 대비 정확도 향상을 이룰지 여부를 62.6%의 정확도로 예측하여, 모드 기반 기준(53.0%)을 뛰어넘었다.
• 메타러닝 모델을 활용해 프리프로세서 선택을 안내하는 오라클 에이전트는 최적 파이프라인 대비 평균 -6.19%의 성능 손실을 기록했으며, 모드 에이전트(-6.57%)를 능가했고, 무작위(-15.40%) 및 비어 있는 에이전트(-10.51%)보다도 뚜렷하게 뛰어난 성능을 보였다.
• 메타러닝 모델은 데이터셋 특성과 분류기 선택에 기반해 유망한 프리프로세서를 식별함으로써 AutoML 시스템의 실질적 검색 공간을 줄이는 데 성공했다.
• 원-핫 인코딩과 다항 특성 조합으로 인한 차원의 폭발로 인해 36개의 파이프라인이 실패한 사례는 실무에서 프리프로세서 선택을 신중히 해야 할 필요성을 강조한다.