[논문 리뷰] Toward End-to-End MLOps Tools Map: A Preliminary Study based on a Multivocal Literature Review

Sergio Moreschi, Gilberto Recupito외 4명|arXiv (Cornell University)|2023. 04. 06.

Big Data and Business IntelligenceBusiness, Management and Accounting인용 수 3

한 줄 요약

이 연구는 다음의 문헌 검토를 통해 DevOps 단계에 걸쳐 84개의 MLOps 도구를 맵핑하여 그 목적, 호환성 및 비호환성을 규명한다. 주요 기여는 기계학습 라이프사이클의 각 단계에 적합한 도구를 선택할 수 있도록 지원하는 시각적 DevOps 맵을 제공하는 것으로, 최소한의 도구 간 충돌로 끝에서 끝까지의 파이프라인 설계를 지원한다.

ABSTRACT

MLOps tools enable continuous development of machine learning, following the DevOps process. Different MLOps tools have been presented on the market, however, such a number of tools often create confusion on the most appropriate tool to be used in each DevOps phase. To overcome this issue, we conducted a multivocal literature review mapping 84 MLOps tools identified from 254 Primary Studies, on the DevOps phases, highlighting their purpose, and possible incompatibilities. The result of this work will be helpful to both practitioners and researchers, as a starting point for future investigations on MLOps tools, pipelines, and processes.

연구 동기 및 목표

• 가용한 도구의 증가로 인해 연구자 및 실무자 간 MLOps 도구 선택에 혼란이 증가하고 있는 문제를 해결하기 위해.
• 이전 문헌 검토의 한계를 극복하기 위해 백색 문헌과 회색 문헌을 모두 포함하는 범위로 확장하고, 스노우볼링 기법을 적용하기 위해.
• MLOps 도구를 기계학습 라이프사이클 내에서의 역할을 명확히 하기 위해 특정 DevOps 단계에 체계적으로 맵핑하기 위해.
• 파이프라인 조립 시 통합 문제를 방지하기 위해 도구 간 잠재적 비호환성을 규명하기 위해.
• 연구 및 산업 현장에서의 MLOps 관행 도입을 지원하기 위해 시각적이고 실용적인 도구 맵을 제공하기 위해.

제안 방법

• 범위와 철학적 엄밀함을 향상시키기 위해 이전의 다음의 문헌 검토를 내부적으로 차별화된 복제 수행.
• Google 및 Google Scholar에서 상위 102개 결과를 검색하고, 선택된 주요 연구로부터 스노우볼링을 보완.
• 254개의 주요 연구(회색 문헌 203개, 백색 문헌 51개)를 수집하고 84개의 별도의 MLOps 도구를 추출.
• 각 도구의 목적에 따라 DevOps 단계(기획, 코드, 빌드, 테스트, 배포, 배포, 운영, 모니터링) 중 하나 이상에 맵핑.
• 도구 기능과 배포 패턴을 상호 참조하여 도구 간 호환성 및 비호환성을 평가.
• 도구 분포를 시각적으로 표현하고 도구 선택을 지원하기 위해 시각적 DevOps 맵을 생성.

Figure 1: MLOps infinite loop [ 4 ]

실험 결과

연구 질문

• RQ1 실제로 사용 중인 MLOps 도구는 무엇이며, DevOps 라이프사이클 단계에 어떻게 분포되어 있는가?
• RQ2 각 DevOps 단계 내에서 식별된 MLOps 도구의 주요 기능적 목적은 무엇인가?
• RQ3 파이프라인 통합을 방해할 수 있는 MLOps 도구 간 알려진 비호환성은 있는가?
• RQ4 종합적인 엔드 투 엔드 MLOps 플랫폼이 외부 도구와의 통합을 얼마나 잘 지원하는가?
• RQ5 포괄적이고 시각적인 MLOps 도구 맵은 엔드 투 엔드 기계학습 파이프라인 설계를 어떻게 향상시킬 수 있는가?

주요 결과

• 254개의 주요 연구에서 총 84개의 별도의 MLOps 도구를 식별하였으며, 이 중 203개는 회색 문헌, 51개는 백색 문헌에서 유래.
• 대부분의 종합적인 엔드 투 엔드 MLOps 플랫폼은 외부 도구와의 통합을 지원하지 않아 파이프라인의 유연성이 제한됨.
• 다른 DevOps 단계에서 유래한 개별 도구 간 비호환성이 발견되지 않아 일반적으로 통합 가능한 통합 파이프라인으로 조합 가능함.
• 대부분의 도구는 특정 단계에 특화되어 있으며, 단계 간의 功能 겹침은 극히 적음.
• 현재 MLOps 솔루션에서 완전한 자동화의 부족이 드러나 있으며, 많은 도구들이 중복되거나 유사한 기능을 제공함.
• 시각적 DevOps 맵은 도구 분포에 대한 명확하고 실용적인 개요를 제공하여 도구 선택 및 파이프라인 설계를 지원함.

Figure 3: Identified tools and their subcategories to produce MLOps Pipelines