[논문 리뷰] MLOps Spanning Whole Machine Learning Life Cycle: A Survey

Fang Zhengxin, Yi Yuan외 9명|arXiv (Cornell University)|2023. 04. 13.

Big Data and Business Intelligence인용 수 5

한 줄 요약

이 종합적 서베이는 기계학습을 운영 프로세스로 간주하고 데이터 준비에서 모델 배포 및 모니터링에 이르기까지 모든 단계에서 핵심 기술과 관행을 통합함으로써 MLOps의 전 생애주기를 포괄하는 개괄적 개요를 제시한다. 연구자와 실무자들이 종단 간 기계학습 운영을 이해하고 각 단계에 대한 상세 자료를 찾을 수 있도록 통합된 참고자료로 기능한다.

ABSTRACT

Google AlphaGos win has significantly motivated and sped up machine learning (ML) research and development, which led to tremendous ML technical advances and wider adoptions in various domains (e.g., Finance, Health, Defense, and Education). These advances have resulted in numerous new concepts and technologies, which are too many for people to catch up to and even make them confused, especially for newcomers to the ML area. This paper is aimed to present a clear picture of the state-of-the-art of the existing ML technologies with a comprehensive survey. We lay out this survey by viewing ML as a MLOps (ML Operations) process, where the key concepts and activities are collected and elaborated with representative works and surveys. We hope that this paper can serve as a quick reference manual (a survey of surveys) for newcomers (e.g., researchers, practitioners) of ML to get an overview of the MLOps process, as well as a good understanding of the key technologies used in each step of the ML process, and know where to find more details.

연구 동기 및 목표

• 기계학습 생애주기 전반에 걸쳐 MLOps의 현재 상태를 명확하고 체계적으로 개괄하는 것.
• 산산이 흩어진 기계학습 기술과 개념을 보다 쉽게 도입하고 이해할 수 있도록 통합된 운영 프레임워크로 정리하는 것.
• 초보자들이 각 기계학습 개발 단계에서 관련 문헌과 도구를 쉽게 찾을 수 있도록 안내하는 '서베이의 서베이' 역할을 하는 것.
• 특히 분야 초보자들을 위해 기술의 진화하는 환경을 생애주기 단계별로 정리함으로써 기계학습 운영의 변화하는 풍경을 명확히 하는 것.

제안 방법

• 논문은 기계학습 생애주기를 데이터 관리, 모델 훈련, 검증, 배포, 모니터링, 버전 관리 등 명확한 운영 단계로 나누어 기술한다.
• 각 단계에 핵심 MLOps 기술과 도구를 맵핑하며, 기술적 정확성과 관련성을 확보하기 위해 대표적인 연구 및 서베이에서 자료를 취합한다.
• 저자들은 체계적이고 종합적인 '서베이의 서베이' 접근 방식을 취해 기존 문헌의 통찰을 융합하여 MLOps의 통합적 시각을 형성한다.
• 각 단계는 핵심 과제, 표준 관행, 대표적 도구를 기반으로 분석되어 상호 비교 및 통합이 가능하도록 한다.
• 상호운용성과 자동화를 강조하며, 현대 MLOps 도구가 데이터 과학자, 엔지니어, DevOps 팀 간 협업을 어떻게 간소화하는지 설명한다.
• 주제적이고 프로세스 중심의 관점으로 다양한 기계학습 기술을 통합하여 분열을 방지하고 통합된 운영 모델을 촉진한다.

실험 결과

연구 질문

• RQ1 기계학습 생애주기 전반에 걸쳐 MLOps를 체계적으로 적용하여 모델의 신뢰성과 확장성을 향상시킬 수 있는 방법은 무엇인가?
• RQ2 데이터에서부터 배포 및 모니터링에 이르기까지 기계학습 생애주기 각 단계를 뒷받침하는 핵심 기술과 도구는 무엇인가?
• RQ3 기존의 서베이와 도구들은 상호 어떻게 연관되어 있으며, 현재의 MLOps 관행에서 여전히 남아 있는 격차는 무엇인가?
• RQ4 자동화, 버전 관리, 모니터링는 기계학습 시스템의 재현성과 운영 안정성 확보에 어떤 역할을 하는가?
• RQ5 기계학습 분야에 새로 진입하는 이들이 복잡하고 급속도로 변화하는 MLOps 생태계를 효율적으로 탐색할 수 있는 방법은 무엇인가?

주요 결과

• 논문은 데이터 전처리에서 모델 모니터링에 이르기까지 기계학습 생애주기 전반을 아우르는 통합된 MLOps 프레임워크를 수립한다.
• 버전 관리, 자동화, 가시성(observability)가 확장성 있고 신뢰할 수 있는 기계학습 운영의 기초가 되는 핵심 요소로 규명된다.
• 서베이는 MLOps가 특히 생산 환경에서 DevOps 관행과 점점 더 통합되고 있음을 강조한다.
• 기존 소프트웨어 공학 원칙과 MLOps를 결합함으로써 모델의 재현성과 유지보수성이 향상됨을 입증한다.
• 저자들은 기존 도구와 관행가 충분히 성숙되어 기업 수준의 기계학습 배포를 지원할 수 있음을 확인하지만, 초보자들에게는 여전히 지식 격차가 존재한다고 밝힌다.
• 각 MLOps 단계를 특정 도구와 문헌에 맵핑함으로써 실용적인 참고자료로 기능하며, 효율적인 온보딩과 연구 탐색을 가능하게 한다.