[논문 리뷰] A Multivocal Literature Review on the Benefits and Limitations of Automated Machine Learning Tools

Kelly Azevedo, Luigi Quaranta외 2명|arXiv (Cornell University)|2024. 01. 21.

Machine Learning and Data Classification인용 수 7

한 줄 요약

이 논문은 54개의 학술 소스와 108개의 회색문헌으로 AutoML 도구의 이점과 한계를 다학적(다중음)으로 종합하는 문헌 리뷰를 수행하여 ML 워크플로우 및 실무자의 접근성에 미치는 영향을 강조합니다.

ABSTRACT

Context. Advancements in Machine Learning (ML) are revolutionizing every application domain, driving unprecedented transformations and fostering innovation. However, despite these advances, several organizations are experiencing friction in the adoption of ML-based technologies, mainly due to the shortage of ML professionals. In this context, Automated Machine Learning (AutoML) techniques have been presented as a promising solution to democratize ML adoption. Objective. We aim to provide an overview of the evidence on the benefits and limitations of using AutoML tools. Method. We conducted a multivocal literature review, which allowed us to identify 54 sources from the academic literature and 108 sources from the grey literature reporting on AutoML benefits and limitations. We extracted reported benefits and limitations from the papers and applied thematic analysis. Results. We identified 18 benefits and 25 limitations. Concerning the benefits, we highlight that AutoML tools can help streamline the core steps of ML workflows, namely data preparation, feature engineering, model construction, and hyperparameter tuning, with concrete benefits on model performance, efficiency, and scalability. In addition, AutoML empowers both novice and experienced data scientists, promoting ML accessibility. On the other hand, we highlight several limitations that may represent obstacles to the widespread adoption of AutoML. For instance, AutoML tools may introduce barriers to transparency and interoperability, exhibit limited flexibility for complex scenarios, and offer inconsistent coverage of the ML workflow. Conclusions. The effectiveness of AutoML in facilitating the adoption of machine learning by users may vary depending on the tool and the context in which it is used. As of today, AutoML tools are used to increase human expertise rather than replace it, and, as such, they require skilled users.

연구 동기 및 목표

• AutoML 도구의 이점을 문헌 전반에서 식별하고 분류합니다.
• AutoML 채택의 한계와 장애를 식별하고 분류합니다.
• AutoML이 데이터 준비, 특징 엔지니어링, 모델 구성 및 하이퍼파라미터 튜닝에 어떤 영향을 ミ치는지 평가합니다.
• AutoML의 이점은 누구에게 있고 어떤 맥락에서 도와주거나 미흡한지 평가합니다.

제안 방법

• 다학적(다중음) 문헌 고찰을 수행하여 학술 및 회색 문헌의 관점을 모두 포착합니다.
• 주제 분석을 적용하여 이점과 한계를 추출합니다.
• 지원 소스로 구조화된 이점 및 한계 목록으로 결과를 집계합니다.

실험 결과

연구 질문

• RQ1 AutoML 도구가 ML 워크플로우(데이터 준비, 특징 엔지니어링, 모델 구성, 하이퍼파라미터 튜닝)에 어떤 이점을 제공합니까?
• RQ2 광범위한 AutoML 도구 채택을 저해하는 한계는 무엇이며 어떤 맥락에서 이러한 도구가 기대에 미치지 못하거나 실패합니까?
• RQ3 누가 AutoML의 혜택을 받고 도구 특성이 초보자 및 숙련된 데이터 과학자의 접근성에 어떤 영향을 줍니까?
• RQ4 AutoML 도구가 ML 프로젝트의 투명성 및 상호 운용성에 어떤 영향을 미칩니까?

주요 결과

• AutoML 도구는 핵심 ML 워크플로우 단계를 간소화하여 모델 성능, 효율성 및 확장성을 향상시킬 수 있습니다.
• AutoML은 초보자와 숙련된 데이터 과학자 모두의 역량을 강화하여 ML 접근성을 촉진합니다.
• 한계에는 투명성과 상호 운용성에 대한 장벽, 복잡한 시나리오에 대한 제약된 유연성, ML 워크플로우의 불일치한 범위가 포함됩니다.
• AutoML의 효과는 도구와 맥락에 따라 다르며 현재 이 도구들은 인간 전문지식을 대체하기보다는 보강합니다.