[논문 리뷰] MLOps: A Review

Samar Wazir, Gautam Siddharth Kashyap외 1명|arXiv (Cornell University)|2023. 08. 19.

Big Data and Business Intelligence인용 수 23

한 줄 요약

이 논문은 MLOps의 22개 연구를 조사하고 도구 스택을 비교하며 ML 파이프라인의 운영화를 위한 도전과제, 역량 및 향후 방향에 대해 논의합니다.

ABSTRACT

Recently, Machine Learning (ML) has become a widely accepted method for significant progress that is rapidly evolving. Since it employs computational methods to teach machines and produce acceptable answers. The significance of the Machine Learning Operations (MLOps) methods, which can provide acceptable answers for such problems, is examined in this study. To assist in the creation of software that is simple to use, the authors research MLOps methods. To choose the best tool structure for certain projects, the authors also assess the features and operability of various MLOps methods. A total of 22 papers were assessed that attempted to apply the MLOps idea. Finally, the authors admit the scarcity of fully effective MLOps methods based on which advancements can self-regulate by limiting human engagement.

연구 동기 및 목표

• 용어에 익숙하지 않은 독자를 위해 DevOps와 MLOps 및 ML 생애주기에 대한 배경을 제공합니다.
• 22개의 MLOps 관련 논문을 조사하고 연구 결과를 합성하여 공통된 접근 방식과 한계를 식별합니다.
• 다양한 MLOps 도구의 기능과 작동 가능성을 비교하여 다양한 프로젝트에 대한 도구 선택을 안내합니다.
• MLOps 생태계의 향후 방향과 연구 격차를 논의합니다.

제안 방법

• MLOps 개념을 적용한 22편의 논문 검토.
• 파이프라인, 데이터 및 모델 핸들링 등의 기능을 포함한 MLOps 도구 스택 분석.
• 특성 기준(HT, DV, PV, MD, CI/CD, PM, MEV)에 따른 도구 비교.
• 인기 있는 MLOps 시스템의 언어 및 플랫폼 지원 평가.
• 자동화되고 인간 개입이 적은 MLOps를 위한 과제, 확장성 및 방향에 대한 논의.

실험 결과

연구 질문

• RQ1 MLOps의 핵심 구성 요소와 생애주기 단계는 무엇이며, 이것들이 DevOps와 어떻게 연관되는가?
• RQ2 일반적으로 사용되는 MLOps 도구와 스택은 무엇이며 어떤 기능을 제공하는가?
• RQ3 완전히 자율적인 MLOps를 방해하는 주요 도전과제와 제약은 무엇인가?
• RQ4 클라우드 공급자와 오픈 소스 플랫폼은 MLOps 워크플로우 지원 측면에서 어떻게 비교되는가?
• RQ5 MLOps 연구 및 실무를 발전시키기 위한 향후 방향은 무엇인가?

주요 결과

• MLOps는 모델, 코드 및 데이터 구성요소 전반에 걸친 ML 수명 주기를 자동화하고 모니터링하기 위해 ML과 DevOps를 통합합니다.
• 22편의 논문 조사에서 Kubeflow, MLflow, Iterative, DataRobot, ClearML, MLReef와 같은 도구 스택과 AWS SageMaker, Azure ML, Google Cloud 등의 클라우드 플랫폼이 광범위하게 사용되는 것으로 나타났습니다.
• 현재 MLOps 도구는 CI/CD, 데이터 및 모델 버전 관리, 배포, 모니터링 등의 다양한 기능을 제공하지만 하나의 솔루션이 모든 요구를 효과적으로 충족하는 것은 아닙니다.
• 최소한의 인간 개입으로 자체 조절이 가능한 완전히 효과적인 MLOps 방법의 부족이 관측됩니다.
• 데이터 품질, 확장성, 재현성 및 비용 측면의 도전과제에 직면한 MLOps는 자동화되고 스스로 관리하는 파이프라인을 향한 향후 연구를 촉진합니다.