[논문 리뷰] Operationalizing Machine Learning: An Interview Study

Shreya Shankar, Rolando Garcia외 2명|arXiv (Cornell University)|2022. 09. 16.

Mobile Crowdsensing and Crowdsourcing인용 수 29

한 줄 요약

이 연구는 18명의 ML 엔지니어를 인터뷰하여 생산 ML(MLOps)이 어떻게 실행되는지 파악하고, 세 가지 성공 요인—속도, 검증, 버전 관리—를 식별하며 조직 및 도구 측면의 시사점을 상세히 설명한다.

ABSTRACT

Organizations rely on machine learning engineers (MLEs) to operationalize ML, i.e., deploy and maintain ML pipelines in production. The process of operationalizing ML, or MLOps, consists of a continual loop of (i) data collection and labeling, (ii) experimentation to improve ML performance, (iii) evaluation throughout a multi-staged deployment process, and (iv) monitoring of performance drops in production. When considered together, these responsibilities seem staggering -- how does anyone do MLOps, what are the unaddressed challenges, and what are the implications for tool builders? We conducted semi-structured ethnographic interviews with 18 MLEs working across many applications, including chatbots, autonomous vehicles, and finance. Our interviews expose three variables that govern success for a production ML deployment: Velocity, Validation, and Versioning. We summarize common practices for successful ML experimentation, deployment, and sustaining production performance. Finally, we discuss interviewees' pain points and anti-patterns, with implications for tool design.

연구 동기 및 목표

• 조직과 응용 분야 전반에서 ML 모델이 생산에서 어떻게 운영되는지 식별한다.
• ML 엔지니어의 관점에서 MLOps의 일상적 관행, 워크플로우, 의사결정 포인트를 이해한다.
• 문제점, 안티패턴, 향후 도구 설계 및 프로세스 개선의 기회를 밝혀 도구와 프로세스 설계에 가이드를 제공한다.

제안 방법

• 다양한 분야의 18명 ML 엔지니어를 대상로 반구조화된 민족지학적 인터뷰를 수행했다.
• MaxQDA를 사용하여 원자료를 분석하기 위해 개방 코딩과 축 코딩을 활용한 근거 이론을 적용했다.
• 일반화된 MLOps 관행, Three Vs, 문제점을 도출하고 도구 설계에 대한 시사점을 제시했다.

실험 결과

연구 질문

• RQ1 데이터 수집에서 모니터링에 이르는 생산 ML 생애주기의 일상 업무는 무엇인가?
• RQ2 생산 ML 배포의 성공을 좌우하는 요인은 무엇이며 그것들이 실제로 어떻게 나타나는가?
• RQ3 생산 현장에서 ML 엔지니어가 겪는 일반적인 도전과 반패턴은 무엇이며 어떤 도구가 필요한가?

주요 결과

• ML 엔지니어는 생산 생애주기에서 네 가지 핵심 작업을 따른다: 데이터 수집/레이블링, 실험, 평가/배포, 모니터링/대응.
• Three Vs가 성공을 좌우한다: 속도(신속한 프로토타이핑 및 디버깅), 검증(동적이고 다면적 평가), 버전 관리(여러 모델 및 데이터 버전 추적).
• 머신러닝 엔지니어링은 실험적이며, 협업 아이디어 생성과 데이터 중심 실험을 통해 빠른 반복과 초기의 잘못된 아이디어의 가지치기에 중점을 둔다.
• 평가는 능동적인 조직적 노력으로, 동적 검증 데이터 세트, 표준화된 검증 시스템, 위험 완화를 위한 다단계 배포를 포함한다.
• 제품 지표와 비즈니스 KPI가 평가와 연결되어 ML 개선이 구체적인 제품 가치로 이어지도록 한다.
• 생산 성능 유지를 위해 엔지니어는 버전 관리 배포, 가드레일, 순환 당직, 구성 기반 변경을 사용하여 생산 가동 중단을 최소화한다.