[논문 리뷰] MLBench: How Good Are Machine Learning Clouds for Binary Classification Tasks on Structured Data?

Yu Liu, Hantian Zhang외 3명|arXiv (Cornell University)|2017. 07. 29.

Machine Learning and Data Classification참고 문헌 18인용 수 9

한 줄 요약

이 논문은 mlbench라는 Kaggler 경진대회 데이터셋 벤치마크(최고 성능 솔루션 포함)를 사용하여 Azure Machine Learning Studio와 Amazon Machine Learning의 실제 이진 분류 작업에서의 성능을 평가한다. 성능 분석 결과, 고품질 허용 오차 범위에서는 기계학습 클라우드가 합리적인 성능을 보이지만, 저품질 허용 오차 범위에서는 앙상블 방법 지원 부족과 고급 하이퍼파라미터 튜닝 기능의 제한으로 인해 뚜렷한 성능 격차를 보이며, 현재 선언형 기계학습 클라우드 추상화에서의 핵심 격차를 드러낸다.

ABSTRACT

We conduct an empirical study of machine learning functionalities provided by major cloud service providers, which we call machine learning clouds. Machine learning clouds hold the promise of hiding all the sophistication of running large-scale machine learning: Instead of specifying how to run a machine learning task, users only specify what machine learning task to run and the cloud figures out the rest. Raising the level of abstraction, however, rarely comes free - a performance penalty is possible. How good, then, are current machine learning clouds on real-world machine learning workloads? We study this question with a focus on binary classication problems. We present mlbench, a novel benchmark constructed by harvesting datasets from Kaggle competitions. We then compare the performance of the top winning code available from Kaggle with that of running machine learning clouds from both Azure and Amazon on mlbench. Our comparative study reveals the strength and weakness of existing machine learning clouds and points out potential future directions for improvement.

연구 동기 및 목표

• 현대 기계학습 클라우드가 실제 이진 분류 워크로드를 얼마나 잘 지원하는지 평가하기 위해.
• 전문가가 튜닝한 비선언형 시스템과 비교해 선언형 기계학습 클라우드의 성능 저하 요인을 특정하기 위해.
• Kaggle 경진대회에서의 실제 데이터셋과 최고 성능 솔루션을 기반으로 한 벤치마크를 수립하기 위해.
• 새로운 품질 허용 오차 지표를 통해 기계학습 클라우드 성능과 특징 공학 및 하이퍼파라미터 튜닝의 영향을 분리하여 분석하기 위해.
• 향후 선언형 기계학습 클라우드 추상화의 개선을 이끌어내기 위해 핵심 제약 조건을 규명하기 위해.

제안 방법

• 실제 Kaggle 경진대회에서 유래한 데이터셋을 포함한 새로운 벤치마크인 mlbench를 제안하였으며, 각 데이터셋에는 특징 공학 및 모델 선택을 포함한 최선의 노력 기반 기준 솔루션이 동반된다.
• 기계학습 클라우드 성능을 최고의 Kaggle 솔루션과 비교하기 위해 '품질 허용 오차' 기반의 새로운 성능 지표를 개발하였다. 이 지표를 통해 클라우드 고유의 제약 조건을 분리하여 분석할 수 있었다.
• 특징 공학 및 모델 선택을 동일하게 유지한 채, Azure Machine Learning Studio와 Amazon Machine Learning을 최상위 랭킹의 Kaggle 코드와 비교하는 제어 실험을 수행하였다.
• 개별 클라우드 시스템과 전문가 솔루션 간의 직접 비교를 가능하게 하기 위해 비공개 테스트 세트의 AUC 점수를 사용하여 상대적 성능을 측정하였다.
• 성능 향상 분포를 그려 특징 공학과 하이퍼파라미터 튜닝의 영향을 별도로 분석하였다.
• 모델 선택과 하이퍼파라미터 튜닝을 분리하는 방법론을 적용하여 기계학습 클라우드의 능력을 공정하게 평가하였다.

실험 결과

연구 질문

• RQ1 기계학습 클라우드는 실제 이진 분류 작업에서 최고 성능을 낸 비선언형 솔루션과 비교해 어떻게 성능을 내는가?
• RQ2 저품질 허용 오차 범위에서 기계학습 클라우드와 전문가가 튜닝한 모델 간의 성능 격차는 어느 정도인가?
• RQ3 기계학습 클라우드 내부 실행과 비교해 특징 공학 및 하이퍼파라미터 튜닝이 성능 향상에 얼마나 기여하는가?
• RQ4 고수준 추상화를 제공함에도 불구하고 기계학습 클라우드가 최고의 Kaggle 솔루션보다 성능이 열 劣하는 이유는 무엇인가?
• RQ5 선언형 기계학습 클라우드의 성능 격차를 줄이기 위해 어떤 아키텍처나 알고리즘적 개선이 필요할까?

주요 결과

• 기계학습 클라우드는 저품질 허용 오차 범위에서 상당한 성능 격차를 보이며, 최고의 Kaggle 솔루션 대비 AUC 점수 격차가 최대 15.87%에 이른다.
• 앙상블 방법이 핵심인 데이터셋인 D-SCH(15.87% AUC 격차)와 D-VP(14.48% 격차)에서 성능 격차가 가장 두드러진다.
• 특징 공학이 하이퍼파라미터 튜닝보다 더 큰 성능 향상 기여를 하며, 50번째 백분위수에서 특징 공학의 성능 향상은 10% AUC이지만, 튜닝은 3.37%에 그친다.
• 앙성 방법 지원 부족이 성능 격차의 주요 원인이며, 최고의 Kaggle 솔루션은 이에 크게 의존한다.
• Azure 및 Amazon ML 클라우드는 고품질 허용 오차 범위에서는 합리적인 성능을 보이지만, 정밀도가 중요한 경우 전문가 솔루션을 따라잡지 못한다.
• 본 연구는 현재 선언형 기계학습 클라우드가 스태킹이나 백킹과 같은 고급 기법을 충분히 노출하거나 최적화하지 못하고 있음을 규명하였으며, 이는 고위험 응용 분야에서의 활용도를 제한한다.