[논문 리뷰] Plumber: Diagnosing and Removing Performance Bottlenecks in Machine Learning Data Pipelines

Michael Kuchnik, Ana Klimovic외 3명|arXiv (Cornell University)|2021. 11. 07.

Parallel Computing and Optimization Techniques참고 문헌 32인용 수 9

한 줄 요약

Plumber는 자원 사용을 추적하고 선형 프로그래밍을 통한 자동 최적화를 적용함으로써 머신러닝 데이터 파이프라인의 성능 저하 요인을 진단하고 제거하는 도구이다. 잘못 설정된 파이프라인에 비해 최대 47배의 성능 향상을 이끌어내며, 병행 처리, 프리패칭, 캐싱을 지능적으로 최적화하여 기존 최고 수준의 튜너 대비 종단 간 성능을 50% 향상시킨다.

ABSTRACT

Input pipelines, which ingest and transform input data, are an essential part of training Machine Learning (ML) models. However, it is challenging to implement efficient input pipelines, as it requires reasoning about parallelism, asynchrony, and variability in fine-grained profiling information. Our analysis of over two million ML jobs in Google datacenters reveals that a significant fraction of model training jobs could benefit from faster input data pipelines. At the same time, our analysis indicates that most jobs do not saturate host hardware, pointing in the direction of software-based bottlenecks. Motivated by these findings, we propose Plumber, a tool for finding bottlenecks in ML input pipelines. Plumber uses an extensible and interpretable operational analysis analytical model to automatically tune parallelism, prefetching, and caching under host resource constraints. Across five representative ML pipelines, Plumber obtains speedups of up to 47x for misconfigured pipelines. By automating caching, Plumber obtains end-to-end speedups of over 50% compared to state-of-the-art tuners.

연구 동기 및 목표

• 하드웨어 자원을 낭비하고 학습 속도를 저하시키는 머신러닝 훈련 데이터 파이프라인의 성능 저하 요인을 식별하고 해결하기 위해.
• 저수준 시스템 동작에 대한 전문 지식 없이도 병행 처리, 프리패칭, 캐싱과 같은 핵심 성능 컨트롤을 자동으로 최적화하기 위해.
• 런타임 자원 회계를 활용한 원칙적이고 해석 가능하며 확장 가능한 방법으로 파이프라인 비효율성을 진단하기 위해.
• 선형 프로그래밍을 통한 캐싱 통합과 예측 성능 모델링을 통해 기존 자동 튜너를 능가하기 위해.
• ML 유틸리티 사용자 부담을 줄이기 위해 단일 라인 통합과 데이터 파이프라인의 자동 최적화를 가능하게 하기 위해.

제안 방법

• Plumber는 파이프라인 내 각 오퍼레이터의 자원 사용량(CPU, 메모리, 디스크)과 데이터 처리 속도를 측정하기 위해 트레이서를 사용한다.
• 자원 회계 속도라는 새로운 지표를 도입하여, 각 오퍼레이터의 자원 소비 및 처리량을 정량화함으로써 정확한 성능 저하 요인 특정이 가능해진다.
• 성능 예측 문제를 선형 프로그래밍(LP) 문제로 공식화하며, 추적된 속도를 사용해 실제 자원 사용량의 4배 이내로 시스템 동작을 제한한다.
• 그래프 리라이터 컴포넌트는 사용자 간섭 없이 LP 예측 결과를 바탕으로 병행 처리, 프리패칭, 캐싱 등의 최적화를 자동으로 적용한다.
• 시스템은 투명한 프론트엔드로 설계되어, tf.data 기반 파이프라인과 통합하기 위해 단 한 줄의 코드만 필요하다.
• 향후 분산 및 가속기 인프레드 수준 프로파일링을 위한 확장성도 지원한다.

실험 결과

연구 질문

• RQ1 실제 머신러닝 훈련 작업 중 소프트웨어 설정 오류로 인해 하드웨어 포화가 아닌 입력 파이프라인 저하가 발생하는 비율은 어느 정도인가?
• RQ2 최소한의 수동 작업과 높은 해석 가능성으로 머신러닝 데이터 파이프라인의 성능 저하 요인을 어떻게 진단할 수 있는가?
• RQ3 병행 처리, 프리패칭, 캐싱과 같은 튜닝 컨트롤의 성능 영향을 일관된 분석 모델로 예측할 수 있으며, 오차가 제한된 상태에서 가능할까?
• RQ4 기존 최고 수준의 튜너 대비 캐싱, 프리패칭, 병행 처리의 자동 최적화가 종단 간 훈련 속도 향상에 얼마나 기여할 수 있는가?
• RQ5 최소한의 사용자 설정으로 데이터 집약적인 머신러닝 훈련에서 거의 최고 수준의 하드웨어 활용도를 달성할 수 있는 시스템을 구축할 수 있는가?

주요 결과

• 200만 개 이상의 머신러닝 작업 분석 결과, 1단계당 최소 1ms 이상의 입력 파이프라인 정지가 발생하는 훈련 작업이 전체의 62%에 달하여 광범위한 성능 저하가 발생하고 있음을 확인했다.
• 대부분의 저하 요인(60% 이상)은 하드웨어 포화가 아닌, 최적화되지 않은 설정으로 인한 소프트웨어 기반 원인으로, 자동 튜닝의 필요성을 강력히 시사한다.
• Plumber는 잘못 설정된 파이프라인에서 병행 처리, 프리패칭, 캐싱을 자동으로 최적화함으로써 최대 47배의 성능 향상을 달성했다.
• 최적화 루프에 캐싱을 통합함으로써, 기존 최고 수준의 튜너 대비 종단 간 성능을 50% 이상 향상시켰다.
• LP 기반 성능 모델은 실제 자원 사용량의 4배 이내로 예측 오차를 제한하여 신뢰할 수 있고 해석 가능한 성능 예측을 제공했다.
• Plumber는 기존 tf.data 파이프라인과 통합하기 위해 단 한 줄의 코드만 필요하여, 아키텍처 변경 없이 넓은 활용도를 확보했다.