[논문 리뷰] InferLine: ML Prediction Pipeline Provisioning and Management for Tight Latency Objectives

Daniel Crankshaw, Gur-Eyal Sela외 5명|arXiv (Cornell University)|2018. 12. 05.

Machine Learning and Data Classification참고 문헌 27인용 수 4

한 줄 요약

InferLine는 엄격한 종단 간 꼬리 지연 시간 서비스 수준 목표(SLO)를 충족하면서 최소 비용으로 다단계 기계학습 추론 파이프라인의 프로비저닝 및 관리를 자동화하는 시스템입니다. 프ofile링과 이산 사건 시뮬레이션을 사용하는 저빈도 조합 최적화 계획기와 네트워크 미적분을 기반으로 한 고빈도 자동 스케일링 튜너를 결합하여 워크로드 변화에 대응해 파이프라인 구성 설정을 동적으로 조정합니다. 이로 인해 기존 방법 대비 최대 7.6배 낮은 비용과 34.5배 낮은 SLO 위반 비율을 달성합니다.

ABSTRACT

Serving ML prediction pipelines spanning multiple models and hardware accelerators is a key challenge in production machine learning. Optimally configuring these pipelines to meet tight end-to-end latency goals is complicated by the interaction between model batch size, the choice of hardware accelerator, and variation in the query arrival process. In this paper we introduce InferLine, a system which provisions and manages the individual stages of prediction pipelines to meet end-to-end tail latency constraints while minimizing cost. InferLine consists of a low-frequency combinatorial planner and a high-frequency auto-scaling tuner. The low-frequency planner leverages stage-wise profiling, discrete event simulation, and constrained combinatorial search to automatically select hardware type, replication, and batching parameters for each stage in the pipeline. The high-frequency tuner uses network calculus to auto-scale each stage to meet tail latency goals in response to changes in the query arrival process. We demonstrate that InferLine outperforms existing approaches by up to 7.6x in cost while achieving up to 34.5x lower latency SLO miss rate on realistic workloads and generalizes across state-of-the-art model serving frameworks.

연구 동기 및 목표

• 엄격한 종단 간 꼬리 지연 시간 제약 조건 하에서 복잡한 다모델 기계학습 추론 파이프라인의 구성 및 관리 과제를 해결하기 위해.
• 응용 프로그램에서 지정한 서비스 수준 목표(SLO) 내에서 종단 간 지연 시간을 유지하면서 운영 비용을 최소화하기 위해.
• 수동 튜닝 부담을 줄이기 위해 파이프라인 단계 전반에 걸쳐 하드웨어 가속기, 배치 크기, 복제 수준의 자동 선택을 가능하게 하기 위해.
• 요청 거부 없이 변동성이 큰 피크 워크로드에 실시간으로 대응할 수 있도록 동적 적응 기능을 제공하여 실시간 트래픽 변화 상황에서도 SLO 준수를 보장하기 위해.
• TensorFlow Serving 및 Clipper와 같은 최신 기술 기반 추론 프레임워크와의 일반화를 통해 광범위한 구현 가능성을 확보하기 위해.

제안 방법

• 저빈도 플래너는 단계별 프로파일링과 이산 사건 시뮬레이션을 사용하여 다양한 구성 설정 하에서 종단 간 파이프라인 지연 시간을 모델링합니다.
• 종단 간 꼬리 지연 시간 SLO를 충족하면서 비용을 최소화하는 구성 설정을 찾기 위해 제약 조건이 있는 조합 최적화를 수행합니다.
• 고빈도 튜너는 다양한 시간 스케일에서의 트래픽 엔velope를 네트워크 미적분을 통해 모델링하고 워크로드 변화를 탐지합니다.
• 질의 도착 패tern의 변화에 대응해 개별 파이프라인 단계를 동적으로 자동 스케일링하여 SLO 준수를 보장하면서 요청 거부 없이 운영합니다.
• 기존 추론 프레임워크에 통합하기 위해 추론 엔진을 대체하는 것이 아니라 구성 및 오케스트레이션 계층으로 기능합니다.
• 기계학습 추론의 결정론적이고 부작용이 없는 특성을 활용하여 개별 모델 프로파일에서 파이프라인 성능을 추정합니다.

실험 결과

연구 질문

• RQ1 어떻게 하면 종단 간 꼬리 지연 시간 SLO를 충족하면서 비용을 최소화하는 다단계 기계학습 추론 파이프라인을 자동으로 구성할 수 있을까요?
• RQ2 다양한 워크로드 하에서 파이프라인의 각 단계에 최적의 하드웨어 가속기, 배치 크기, 복제 수 조합은 무엇일까요?
• RQ3 임시적인 질의 피크 상황을 처리하기 위해 실시간으로 파이프라인 구성 설정을 어떻게 동적으로 적응시킬 수 있을까요?
• RQ4 시뮬레이션과 네트워크 미적분을 활용한 플래너-튜너 아키텍처가 기존의 정적 또는 굵은 단위의 자동 스케일링 방법보다 비용과 SLO 준수 측면에서 뛰어나게 작용할 수 있을까요?
• RQ5 시스템은 다양한 모델 유형, 입력 특성, 추론 프레임워크 간에 어떻게 일반화될 수 있을까요?

주요 결과

• InferLine은 기준 설정 전략 대비 최대 7.6배 낮은 비용을 달성하면서도 SLO 준수 수준을 유지하거나 향상시킵니다.
• 실제 워크로드에서 기존 방법 대비 latency SLO 위반 비율이 34.5배 낮아졌습니다.
• InferLine은 99% 이상의 SLO 준수율을 확보하여 유사 시스템 중에서 문헌에 보고된 바 가장 높은 수준입니다.
• 고빈도 튜너는 지연 시간 SLO 준수 및 비용 효율성 측면에서 굵은 단위의 자동 스케일링 기반 대비 뛰어난 성능을 보였습니다.
• 플래너의 시뮬레이션 기반 접근 방식은 실제 파이프라인을 배포하지 않고도 종단 간 지연 시간을 정확하게 예측할 수 있었습니다.
• 시스템은 이미지 처리, 영상 모니터링, 소셜 미디어, TF Cascade 등 다양한 파이프라인에 일반화되어 있어 광범위한 적용 가능성을 입증했습니다.