[논문 리뷰] Production Machine Learning Pipelines: Empirical Analysis and Optimization Opportunities

Doris Xin, Hui Miao외 2명|arXiv (Cornell University)|2021. 03. 30.

Scientific Computing and Data Management참고 문헌 44인용 수 17

한 줄 요약

이 논문은 Google에서 운영 중인 3,000개의 생산 ML 파이프라인에 대한 대규모 실험 분석을 제시하며, 배포되지 않은 모델에서 발생하는 중복 계산으로 인한 광범위한 비효율성을 드러낸다. '모델 그래프릿'과 파이프라인 프로벤ance를 기반으로 한 랜덤 포레스트 모델을 활용한 사전 감지 시스템을 도입함으로써, 모델의 최신성에 영향을 주지 않으면서도 낭비된 계산을 50% 감소시켰다. 이는 데이터 관리 기법을 통해 상당한 최적화 기회가 존재함을 보여준다.

ABSTRACT

Machine learning (ML) is now commonplace, powering data-driven applications in various organizations. Unlike the traditional perception of ML in research, ML production pipelines are complex, with many interlocking analytical components beyond training, whose sub-parts are often run multiple times on overlapping subsets of data. However, there is a lack of quantitative evidence regarding the lifespan, architecture, frequency, and complexity of these pipelines to understand how data management research can be used to make them more efficient, effective, robust, and reproducible. To that end, we analyze the provenance graphs of 3000 production ML pipelines at Google, comprising over 450,000 models trained, spanning a period of over four months, in an effort to understand the complexity and challenges underlying production ML. Our analysis reveals the characteristics, components, and topologies of typical industry-strength ML pipelines at various granularities. Along the way, we introduce a specialized data model for representing and reasoning about repeatedly run components in these ML pipelines, which we call model graphlets. We identify several rich opportunities for optimization, leveraging traditional data management ideas. We show how targeting even one of these opportunities, i.e., identifying and pruning wasted computation that does not translate to model deployment, can reduce wasted computation cost by 50% without compromising the model deployment cadence.

연구 동기 및 목표

• 모델 훈련을 넘어서 실제 생산 ML 파이프라인의 아키텍처 복잡성, 운영 주기, 계산 특성 이해
• 특히 배포되지 않는 모델에서 발생하는 중복 계산과 같은 비효율성의 규명 및 정량화
• 증분 뷰 유지, 프로벤ance 추적, 재물리화와 같은 데이터 관리 원칙을 활용한 최적화 기회 탐색
• 훈련된 모델 중 어떤 것이 배포되지 않을지를 예측하는 데 머신러닝 모델의 효과를 평가하여 낭비된 계산을 사전에 제거할 수 있는지 검토
• 모델 최신성이나 배포 주기 손상 없이도 상당한 비용 절감이 가능함을 입증

제안 방법

• 4개월 간의 TFX 파이프라인에서 유래한 프로벤ance 그래프를 분석하여, 450,000개 이상의 훈련된 모델을 포함해 파이프라인의 구조와 실행 패턴을 추출
• 반복적으로 실행되는 구성 요소를 표현하고 추론하기 위한 전용 데이터 모델인 '모델 그래프릿'을 도입하며, 입력, 전처리, 훈련 단계를 모두 포함
• 입력 데이터 통계, 전처리 단계, 코드 변경 패턴 등의 특징을 기반으로 훈련된 모델이 배포될지를 예측하기 위해 랜덤 포레스트 모델을 훈련
• 예측된 배포 가능성에 기반한 결정 함수를 사용해 배포되지 않는 모델을 사전에 제거함으로써 낭비된 계산을 줄이고, 모델 최신성을 유지
• 실제 데이터셋을 사용해 접근법을 평가하며, 주요 평가 지표로는 모델 최신성과 총 낭비된 계산 비용을 사용
• 입력 특징의 상대적 중요도를 평가하기 위해 특징 제거 실험을 수행하며, 입력 데이터, 전처리, 코드 변경 등의 특징을 대상으로 분석

실험 결과

연구 질문

• RQ1 대규모 생산 ML 파이프라인에서 일반적인 아키텍처 토폴로지와 구성 요소 유형은 무엇인가?
• RQ2 파이프라인 구성 요소의 반복 실행 간에 얼마나 많은 겹침이 존재하며, 데이터 분포와 모델 출력은 실행 간에 어떻게 변화하는가?
• RQ3 생산 파이프라인에서 훈련된 모델 중 실제로 배포되지 않는 비율은 얼마이며, 이로 인한 낭비된 계산의 원인은 무엇인가?
• RQ4 프로벤ance 및 실행 메타데이터를 기반으로 훈련된 머신러닝 모델이 배포되지 않을 모델을 효과적으로 예측할 수 있는가? 이를 통해 사전 최적화가 가능한가?
• RQ5 증분 계산 및 재물리화와 같은 데이터 관리 기법을 활용해 낭비된 자원을 줄일 수 있는 정도는 어느 정도이며, 이는 모델 최신성에 영향을 주지 않는가?

주요 결과

• 분석 결과, 생산 ML 파이프라인에서 발생하는 낭비된 계산의 50%가 배포되지 않은 채로 훈련된 모델에서 기인함을 규명함
• 파이프라인 프로벤ance를 기반으로 훈련된 랜덤 포레스트 모델을 활용해 비배포 모델을 사전 식별하고 제거함으로써, 모델 최신성에 영향을 주지 않으면서도 낭비된 계산을 50% 감소시킴
• 낭비된 계산의 50% 이하까지는 제거해도 모델 최신성은 100% 유지되나, 60%를 초과하면 급격히 감소함으로써 비용 절감과의 트레이드오���에 대한 임계점이 존재함을 시사함
• 입력 데이터 특징만으로도 (RF:Input) 모델 배포 여부를 가장 효과적으로 예측하며, 코드 변경 및 연산자 형태를 포함한 더 복잡한 특징 세트보다도 성능이 뛰어남
• 입력 데이터 특징에 코드 변경 특징을 추가해도 성능 향상이 없음 (RF:History)으로, 코드 변경 사항이 모델 배포 결정과 상관관계가 없음을 시사함
• 특징 제거 실험 결과, 특정 특징 그룹이 성능을 지배하지는 않으며, 다양한 파이프라인 특성 간의 복잡한 비선형 상호작용이 예측 정확도를 이끄는 것으로 나타남