[논문 리뷰] Demystifying a Dark Art: Understanding Real-World Machine Learning Model Development

Angela Lee, Doris Xin외 2명|arXiv (Cornell University)|2020. 05. 04.

Machine Learning and Data Classification참고 문헌 20인용 수 10

한 줄 요약

이 연구는 오픈ML에서 수집한 475,297개의 머신러닝 워크플로우를 분석하여 실제 세계의 모델 개발 관행을 이해하고자 한다. 분석 결과 수동 반복은 더 적은 낭비 단계를 가지며 더 효율적이며, 자동화된 접근 방식은 더 많은 옵션을 탐색하고 높은 성능을 달성함을 확인하였다. 이는 효율성과 효과성을 동시에 최적화하는 하이브리드 인간-중심 시스템이 ML 워크플로우 개발에 유리할 수 있음을 시사한다.

ABSTRACT

It is well-known that the process of developing machine learning (ML) workflows is a dark-art; even experts struggle to find an optimal workflow leading to a high accuracy model. Users currently rely on empirical trial-and-error to obtain their own set of battle-tested guidelines to inform their modeling decisions. In this study, we aim to demystify this dark art by understanding how people iterate on ML workflows in practice. We analyze over 475k user-generated workflows on OpenML, an open-source platform for tracking and sharing ML workflows. We find that users often adopt a manual, automated, or mixed approach when iterating on their workflows. We observe that manual approaches result in fewer wasted iterations compared to automated approaches. Yet, automated approaches often involve more preprocessing and hyperparameter options explored, resulting in higher performance overall--suggesting potential benefits for a human-in-the-loop ML system that appropriately recommends a clever combination of the two strategies.

연구 동기 및 목표

• 다양한 사용자 기술 수준에서 실제 세계의 머신러닝 워크플로우 개발 관행을 이해하기 위해.
• 공통적인 반복 패턴과 그 모델 성능에 미치는 영향을 규명하기 위해.
• 효율성과 효과성 측면에서 수동, 자동화, 혼합 접근 방식 간의 워크플로우 반복 방식을 비교하기 위해.
• 초보자와 전문가 모두를 지원할 수 있는 보다 나은 인간-중심 ML 시스템 설계를 위한 실질적인 통찰를 도출하기 위해.

제안 방법

• 793개의 작업과 295명의 사용자에서 수집한 오픈ML 플랫폼의 475,297개의 사용자 생성 ML 워크플로우를 수집하고 분석함.
• 전처리, 모델 선택, 하이퍼파라미터 변경 여부를 기반으로 워크플로우 반복을 수동, 자동화, 혼합 방식으로 분류함.
• 반복 패턴, 탐색 깊이, 반복 간 성능 향상을 분석하기 위해 워크플로우 실행 시퀀스를 추적함.
• 모델 및 전처리 선택에 효과적인 관행을 규명하기 위해 대표적인 사용자 시퀀스를 대상으로 사례 연구를 수행함.
• 실행 수준, 시퀀스 수준, 개별 사례 연구 수준의 집계 통계를 활용하여 다층적이고 견고한 통찰 확보.
• 표준화된 지표를 사용해 모델 성능을 평가하고, 다양한 워크플로우 개발 전략 간의 반복 효율성 비교함.

실험 결과

연구 질문

• RQ1 사용자들은 실제로 머신러닝 워크플로우를 어떻게 반복하는가? 주로 사용되는 반복 스타일은 무엇인가?
• RQ2 반복 스타일(수동 대비 자동화)과 ML 워크플로우 개발에서 낭비된 반복 수 간의 관계는 어떠한가?
• RQ3 수동 및 자동화된 접근 방식은 전처리 및 하이퍼파라미터 옵션 탐색과 성능 향상 측면에서 어떻게 비교되는가?
• RQ4 모델 및 전처리 연산자 조합 측면에서 가장 효과적인 워크플로우 설계 패턴은 무엇인가?
• RQ5 전문가 사용자의 통찰를 인간-중심 ML 시스템을 통해 초보자 사용자를 안내하는 데 어떻게 활용할 수 있는가?

주요 결과

• 수동 반복은 유사한 최종 모델 성능를 달성함에도 불구하고 자동화된 접근 방식보다 훨씬 적은 낭비 반복을 경험함.
• 자동화된 접근 방식은 더 많은 전처리 및 하이퍼파라미터 옵션을 탐색하여 종합적인 모델 성능 향상을 이룸.
• 수동 및 자동화된 접근 방식 간 성능 격차는 미미하지만, 효율성 격차는 뚜렷하여 실질적으로 자동화가 비용 효율성이 떨어짐.
• 전문가들은 일반적으로 하이퍼파라미터 튜닝에 앞서 데이터셋 특성을 분석하는 전략을 사용하지만, 이는 초보자가 자주 간과하는 점임.
• 전략적 수동 탐색과 타겟팅된 자동화를 조합한 워크플로우가 가장 효과적이며, 이는 하이브리드 접근 방식이 최적임을 시사함.
• 사례 연구 결과, 인간 사용자는 낭비적인 탐색을 줄이고 영향력 있는 변경 사항에 집중하는 데 있어 단순 자동화보다 더 효과적임.