[논문 리뷰] Machine Learning Automation Toolbox (MLaut)

Viktor Kazakov, Franz J. Király|arXiv (Cornell University)|2019. 01. 11.

Machine Learning and Data Classification참고 문헌 34인용 수 4

한 줄 요약

이 논문은 다양한 데이터셋을 통해 지도 학습 알고리즘의 대규모 벤치마킹을 간소화하는 Python 기반의 머신러닝 자동화 툴박스 MLaut를 소개한다. 이는 scikit-learn 및 Keras 모델의 자동 평가, 하이퍼파rameter 튜닝, 통계적 비교를 가능하게 하며, 시각이나 자연어 처리(NLP)와 같은 특수 분야 외부에서는 딥 뉴럴 네트워크가 성능이 열 劣함을 드러낸다.

ABSTRACT

In this paper we present MLaut (Machine Learning AUtomation Toolbox) for the python data science ecosystem. MLaut automates large-scale evaluation and benchmarking of machine learning algorithms on a large number of datasets. MLaut provides a high-level workflow interface to machine algorithm algorithms, implements a local back-end to a database of dataset collections, trained algorithms, and experimental results, and provides easy-to-use interfaces to the scikit-learn and keras modelling libraries. Experiments are easy to set up with default settings in a few lines of code, while remaining fully customizable to the level of hyper-parameter tuning, pipeline composition, or deep learning architecture. As a principal test case for MLaut, we conducted a large-scale supervised classification study in order to benchmark the performance of a number of machine learning algorithms - to our knowledge also the first larger-scale study on standard supervised learning data sets to include deep learning algorithms. While corroborating a number of previous findings in literature, we found (within the limitations of our study) that deep neural networks do not perform well on basic supervised learning, i.e., outside the more specialized, image-, audio-, or text-based tasks.

연구 동기 및 목표

• 다양한 데이터셋에서 기계학습 알고리즘의 대규모 자동 벤치마킹을 수행하는 것.
• scikit-learn 및 Keras 모델을 하나의 워크플로우 내에서 통합하기 위한 통합적이고 사용자 친화적인 인터페이스 제공.
• 사용자 정의 가능한 하이퍼파rameter 튜닝, 파이프라인 조합, 딥 러닝 아키텍처 설계 지원.
• 로컬 데이터베이스 기반 스토리지로 데이터셋, 모델, 결과를 저장하여 재현 가능하고 재시작 가능한 실험 구현.
• 기존 기계학습 모델과 딥 러닝 모델을 표준 표본형 데이터셋에서 비교하는 대규모 실증 연구 수행.

제안 방법

• MLaut는 데이터 로딩, 모델 피팅, 예측, 결과 저장을 추상화한 고수준 워크플로우 API를 제공한다.
• 예를 들어 scikit-learn 분류기, Keras 딥 네트워크 등 추정기(estimators)를 기본 설정을 포함한 통합 인터페이스로 봉인한다.
• 툴박스는 로컬 파일 시스템 스토리지 사용을 통해 데이터셋, 훈련된 모델, 예측 결과 및 결과를 자동으로 관리한다.
• 재표본 전략(예: 교차검증)을 지원하며, 성능 비교를 위한 통계적 후행 분석을 통합한다.
• 성능는 평균, 집계 및 순위 기반 지표로 측정되며, 신뢰구간과 비모수적 검정(예: 윌콕슨 부호순위 검정)을 포함한다.
• MLaut는 실험 중 장애 발생 후 복구 기능을 제공하여 장시간 지속되는 벤치마킹 파이프라인의 안정성 확보.

실험 결과

연구 질문

• RQ1 표준 표본형 분류 데이터셋에서 기존 기계학습 모델과 딥 뉴럴 네트워크의 성능는 어떻게 비교되는가?
• RQ2 다양한 벤치마크 데이터셋에서 다양한 알고리즘의 성능 안정성과 변동성은 어떠한가?
• RQ3 자동 하이퍼파rameter 튜닝 및 파이프라인 조합은 다양한 데이터 유형에서 모델 성능 향상에 기여하는가?
• RQ4 다양한 딥 뉴럴 네트워크 아키텍처(예: 넓은 vs. 깊은, 드롭아웃 유무)는 비특수화된 학습 과제에서 어떻게 성능을 내는가?
• RQ5 다양한 데이터셋에서 성능 비교를 위한 가장 적절한 통계적 방법은 무엇인가? 특히 신뢰구간과 후행 검정을 고려할 때.

주요 결과

• 드롭아웃 및 학습률 튜닝을 포함한 다양한 아키텍처를 가진 딥 뉴럴 네트워크는 표준 표본형 데이터셋에서 기존 기계학습 모델에 비해 성능이 열 劣하였다.
• 가장 높은 성능을 보인 모델은 일반적으로 GradientBoostingClassifier, 랜덤 포레스트, SVM와 같은 기존 추정기였으며, 대부분의 데이터셋에서 딥 네트워크를 앞섰다.
• 와인 품질 데이터셋에서는 최고의 딥 러닝 모델(NN-4-layer_wide_with_dropout_lr1)이 69.76%의 정확도를 기록했지만, 최고의 기존 모델(SVC)은 35.50%에 머물러 상당한 성능 격차를 보였다.
• 효모 데이터셋에서는 최고의 딥 네트워크(NN-12-layer_wide_with_dropout_lr1)가 71.22%의 정확도를 기록했지만, 가우시안 나이브 베이즈 모델은 85.92%의 높은 성능을 보여, 단순한 모델의 뛰어난 성능을 입증했다.
• 연구 결과, 딥 러닝 모델은 시각, 오디오, 텍스트 영역 외부에서는 조건부로 하이퍼파rameter 튜닝을 해도 일반화 능력이 떨어지는 것으로 나타났다.
• 통계적 검정 결과, 다양한 데이터셋에서 모델 간의 성능 차이가 유의미하며, 비딥 러닝 모델이 성능 순위에서 일관되게 높은 순위를 차지했다.