[논문 리뷰] Machine Learning Operations: A Survey on MLOps Tool Support

Nipuni Tharushika Hewage, Dulani Meedeniya|arXiv (Cornell University)|2022. 02. 21.

Big Data and Business Intelligence인용 수 36

한 줄 요약

이 논문은 상용 MLOps 도구 지원을 조사하고 기능과 사용성을 비교하며 한계점과 향후 연구 방향을 논의한다.

ABSTRACT

Machine Learning (ML) has become a fast-growing, trending approach in solution development in practice. Deep Learning (DL) which is a subset of ML, learns using deep neural networks to simulate the human brain. It trains machines to learn techniques and processes individually using computer algorithms, which is also considered to be a role of Artificial Intelligence (AI). In this paper, we study current technical issues related to software development and delivery in organizations that work on ML projects. Therefore, the importance of the Machine Learning Operations (MLOps) concept, which can deliver appropriate solutions for such concerns, is discussed. We investigate commercially available MLOps tool support in software development. The comparison between MLOps tools analyzes the performance of each system and its use cases. Moreover, we examine the features and usability of MLOps tools to identify the most appropriate tool support for given scenarios. Finally, we recognize that there is a shortage in the availability of a fully functional MLOps platform on which processes can be automated by reducing human intervention.

연구 동기 및 목표

• ML 프로젝트에서 데이터 사이언스와 DevOps 통합의 도전과제를 강조하여 MLOps의 필요성을 제시한다.
• 상용 MLOps 플랫폼과 그들의 협업적이고 반복적인 LIFECYCLE 지원을 조사한다.
• 도구 기능, 사용성 및 다양한 시나리오에의 적합성을 분석하여 플랫폼 선택을 가이드한다.
• 완전 자동화된 ML 생애주기를 방해하는 한계점과 자동화 격차를 식별한다.
• MLOps 도구 생태계 개선을 위한 향후 연구 방향과 권고안을 제시한다.

제안 방법

• 광범위하게 사용되는 MLOps 플랫폼(Kubeflow, MLFlow, Iterative Enterprise, DataRobot, Allegro/ClearML, MLReef, Streamlit) 및 클라우드 제공을 검토하고 분류한다.
• 주요 기능별로 데이터 버전 관리, 하이퍼파라미터 튜닝, 모델/실험/버전 관리, 파이프라인/버전 관리, CI/CD, 배포 및 성능 모니터링 등의 플랫폼을 비교한다.
• 크로스-에코시스템 사용성을 위한 플랫폼 독립성과 프로그래밍 언어 지원을 평가한다.
• 설명된 기능에 근거해 각 플랫폼의 강점과 약점 및 사용 사례 적용 가능성을 분석한다.
• 자동화된 엔드-투-엔드 MLOps 구현의 현재 과제를 논의하고 향후 연구 방향을 제시한다.

실험 결과

연구 질문

• RQ1 기존 MLOps 플랫폼이 ML 생애주기 관리를 위해 제공하는 기능은 무엇인가?
• RQ2 데이터/버전/모델/실험/파이프라인 버전 관리, CI/CD, 배포 및 모니터링 측면에서 MLOps 도구들은 어떻게 비교되는가?
• RQ3 전체 자동화를 저해하는 현재 MLOps 도구 지원의 한계와 격차는 무엇인가?
• RQ4 언어 및 프레임워크 지원이 서로 다른 팀에 대한 플랫폼 적합성에 어떤 영향을 미치는가?
• RQ5 자동화되고 사용하기 쉬운 MLOps 대시보드 개발을 진전시킬 수 있는 향후 연구 방향은 무엇인가?

주요 결과

• 다수의 플랫폼이 ML 생애주기 관리 구성요소를 제공하지만 아직 완전 자동화된 엔드투엔드 솔루션을 제공하는 곳은 없다.
• Kubeflow는 전용 CI/CD 구성 요소가 없고 대신 재현 가능한 작업 계획을 가능하게 하는 파이프라인을 사용한다.
• MLflow는 트래킹, 프로젝트, 모델, 레지스트리를 제공하지만 내장 노트북, 사용자 관리 및 전체 맞춤화가 부족하다.
• 클라우드 제공자 서비스(SageMaker, Azure ML, Google AI Platform)는 광범위한 MLOps 기능을 제공하지만 비용이 많이 들고 단일 통합 대시보드가 부족할 수 있다.
• 데이터 중심 플랫폼(Iterative, ClearML, MLReef)은 데이터/실험/모델/버전 관리 및 협업을 강화하지만 범위 및 통합 측면에서 차이가 있다.
• 전반적으로 ML 워크플로를 자동화하고 간소화하기 위한 통합되고 사용자 친화적인 MLOps 대시보드의 필요성이 있다.