[논문 리뷰] Exploring MLOps Dynamics: An Experimental Analysis in a Real-World Machine Learning Project

Awadelrahman M. A. Ahmed|arXiv (Cornell University)|2023. 07. 22.

Big Data and Business IntelligenceBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 실제 기계학습 프로젝트에서 MLOps 동역학을 실험적으로 분석하며, 문제 정의, 데이터 확보, 모델 배포 등의 단계를 반복적으로 돌아다니는 것을 추적하여 워크플로우 간 상호의존성을 정량화한다. 연구 결과 MLOps는 반복적인 것이 아니라 본질적으로 반복적인 과정이며, 체계적인 단계 재방문 추적을 통해 유의미한 통찰을 도출하여 각 단계의 사전 계획 수립과 지속적인 개선을 통한 실행 가능한 권고안을 제시한다.

ABSTRACT

This article presents an experiment focused on optimizing the MLOps (Machine Learning Operations) process, a crucial aspect of efficiently implementing machine learning projects. The objective is to identify patterns and insights to enhance the MLOps workflow, considering its iterative and interdependent nature in real-world model development scenarios. The experiment involves a comprehensive MLOps workflow, covering essential phases like problem definition, data acquisition, data preparation, model development, model deployment, monitoring, management, scalability, and governance and compliance. Practical tips and recommendations are derived from the results, emphasizing proactive planning and continuous improvement for the MLOps workflow. The experimental investigation was strategically integrated within a real-world ML project which followed essential phases of the MLOps process in a production environment, handling large-scale structured data. A systematic tracking approach was employed to document revisits to specific phases from a main phase under focus, capturing the reasons for such revisits. By constructing a matrix to quantify the degree of overlap between phases, the study unveils the dynamic and iterative nature of the MLOps workflow. The resulting data provides visual representations of the MLOps process's interdependencies and iterative characteristics within the experimental framework, offering valuable insights for optimizing the workflow and making informed decisions in real-world scenarios. This analysis contributes to enhancing the efficiency and effectiveness of machine learning projects through an improved MLOps process. Keywords: MLOps, Machine Learning Operations, Optimization, Experimental Analysis, Iterative Process, Pattern Identification.

연구 동기 및 목표

• 실제 기계학습 프로젝트에서 MLOps 워크플로우의 반복적이고 상호의존적인 성격을 조사하기 위해.
• 특정 MLOps 단계에 집중할 때 이전 단계를 반복적으로 재방문하는 데서 나타나는 반복 패턴을 식별하기 위해.
• 사전 계획 수립과 지속적인 개선을 통해 각 MLOps 단계를 최적화하기 위한 데이터 기반 권고안을 제공하기 위해.
• MLOps 프로세스에서 유의미한 반복과 생산성 없는 반복 사이의 차이를 구분하기 위해.
• 단계 간 겹침과 상호의존성의 정량화를 통해 MLOps의 효율성과 효과성을 향상시키기 위해.

제안 방법

• 대규모 구조화된 데이터를 처리하는 실제 생산 환경에서 실험적 MLOps 워크플로우를 수행하였다.
• 특정 단계에 집중할 때 이전 단계로의 재방문을 체계적으로 추적하며, 후퇴 이유를 기록하였다.
• MLOps 단계 간 겹침과 상호의존성의 정도를 정량화하기 위해 행렬을 구축하였다.
• 각 단계에서 향후 의존성을 예측하기 위해 거버넌스, 커뮤니케이션 등의 전망적 고려사항을 매핑하였다.
• 기계학습 시스템을 위한 Chip Huyen의 반복적 설계 프레임워크의 통찰을 통합하였다.
• 시각적 및 정량적 분석을 통해 MLOps 워크플로우의 동적이고 비선형적인 성격을 표현하였다.

실험 결과

연구 질문

• RQ1 실제 기계학습 프로젝트에서 특정 단계에 집중할 때 나타나는 이전 MLOps 단계 재방문 패턴은 무엇인가요?
• RQ2 MLOps 단계 간 상호의존성이 워크플로우 효율성과 모델 개발 주기에 어떤 영향을 미치나요?
• RQ3 거버넌스, 준수 및 커뮤니케이션 요구사항이 각 단계에서 전망적 고려사항으로 나타나는 정도는 어느 정도인가요?
• RQ4 어떤 요인이 이전 단계로의 후퇴를 유도하는가? 이를 사전 계획 수립을 통해 어떻게 완화할 수 있는가요?
• RQ5 MLOps의 반복적 성격은 어떻게 최적화되어야 하며, 반복적인 주기를 피하면서도 지속적인 개선을 보장할 수 있는가요?

주요 결과

• MLOps 프로세스는 강한 상호의존성을 보이며, 특히 문제 정의, 데이터 확보, 모델 개발 단계에서 요구사항 변화에 따라 빈번히 이전 단계로의 재방문이 발생한다.
• 거버넌스 및 준수 요구사항은 모든 단계에서 핵심적인 전망적 고려사항으로 나타나며, 종종 일치를 위해 이전 단계로의 후퇴가 필요하다.
• 데이터 준비 단계는 후퇴의 주요 원인으로 나타났으며, 데이터 품질 문제나 윤리적 고려사항으로 인해 데이터 확보 및 문제 정의 단계로의 재방문이 발생했다.
• 모델 개발 단계에서는 데이터 드프트나 편향 문제를 후속 단계에서 발견함에 따라 자주 데이터 준비 및 확보 단계로의 재방문이 발생했다.
• 확장성 및 모니터링은 대부분의 경우 전망적 고려사항으로 나타났으며, 특히 배포 및 모델 개발 단계에서 상당한 계획 수립이 필요했다.
• 연구 결과 효과적인 MLOps는 반복적 개선에 의존하며 반복적인 사이클이 아니며, 준수, 커뮤니케이션, 거버넌스의 조기에 통합함으로써 최적화가 가능하다는 점을 확인했다.