[논문 리뷰] Optimizing Prediction Serving on Low-Latency Serverless Dataflow

Vikram Sreekanti, Harikaran Subbaraj외 3명|arXiv (Cornell University)|2020. 07. 11.

Advanced Neural Network Applications참고 문헌 59인용 수 6

한 줄 요약

Cloudflow는 서버리스 데이터플로우 시스템으로, 기존의 흑상자 모델에 대해 자동으로 투명하게 최적화(예: 오퍼레이터 융합, 경쟁적 실행)를 적용함으로써 저지연성 머신러닝 예측 서비스를 최적화한다. 기존 최고 수준의 시스템 대비 최대 2배의 성능 향상을 달성하면서도 실시간 응용 프로그램에 필요한 엄격한 지연 시간 요구 조건을 충족시킨다.

ABSTRACT

Prediction serving systems are designed to provide large volumes of low-latency inferences machine learning models. These systems mix data processing and computationally intensive model inference and benefit from multiple heterogeneous processors and distributed computing resources. In this paper, we argue that a familiar dataflow API is well-suited to this latency-sensitive task, and amenable to optimization even with unmodified black-box ML models. We present the design of Cloudflow, a system that provides this API and realizes it on an autoscaling serverless backend. Cloudflow transparently implements performance-critical optimizations including operator fusion and competitive execution. Our evaluation shows that Cloudflow's optimizations yield significant performance improvements on synthetic workloads and that Cloudflow outperforms state-of-the-art prediction serving systems by as much as 2x on real-world prediction pipelines, meeting latency goals of demanding applications like real-time video analysis.

연구 동기 및 목표

• 실시간 영상 분석과 같은 상호작용형 응용 프로그램에서 저지연, 고처리량 예측 서비스를 제공하는 데 도전하는 것.
• 모델 재작성 또는 화이트박스 접근 권한 없이도 예측 파이프라인의 엔드 투 엔드 최적화를 가능하게 하는 것.
• 변동성이 크고 예측 불가능한 워크로드에 적합한 세밀한 자동 스케일링과 효율적인 자원 할당을 지원하는 것.
• 개발자 우호적인 기능형 API를 제공하여 익숙한 데이터플로우 오퍼레이터를 사용해 복잡한 예측 파이프라인을 조합할 수 있도록 하는 것.
• 모듈러한 마이크로서비스 기반 시스템과 Pretzel과 같은 고도로 최적화된 화이트박스 시스템 사이의 격차를 메우기 위해, 흑상자 모델에서도 최적화를 가능하게 하는 것.

제안 방법

• Cloudflow는 표준 오퍼레이터(예: map, filter, union)를 사용해 흑상자 ML 모델에서 예측 파이프라인을 조합할 수 있는 기능형 데이터플로우 API를 제공한다.
• Cloudburst라는 상태 유지형 서버리스 FaaS 플랫폼에서 실행되어 저지연 상태 접근과 효율적인 함수 조합을 가능하게 한다.
• 시스템은 오퍼레이터 융합 및 경쟁적 실행과 같은 데이터플로우 최적화를 자동으로 적용하여 지연 시간을 감소시키고 처리량을 향상시킨다.
• 사용자 모델이나 프레임워크를 수정하지 않고도 데이터플로우 그래프의 의미적 구조를 활용해 최적화를 가능하게 한다.
• Cloudflow는 세밀한 자동 스케일링 및 이질적인 프로세서 간 효율적인 데이터 전달 기능을 위해 Cloudburst를 확장한다.
• 시스템은 투명한 타입 체킹과 수동 통계 모니터링을 수행하여 파이프라인의 정확성과 디버깅 용이성을 향상시킨다.

실험 결과

연구 질문

• RQ1 익숙한 데이터플로우 API를 사용해 흑상자 모델로 예측 파이프라인을 조합하면서도 엔드 투 엔드 최적화를 가능하게 할 수 있는가?
• RQ2 실제 예측 워크로드에 대해 자동 데이터플로우 최적화(예: 오퍼레이터 융합, 경쟁적 실행)의 효과는 어떠한가?
• RQ3 세밀한 자동 스케일링과 저지연 상태 접근 기능을 갖춘 서버리스 백엔드가 기존 예측 서비스 시스템을 초월할 수 있는가?
• RQ4 모델 재작성 또는 ML 프레임워크 변경 없이 최적화를 얼마나 투명하게 적용할 수 있는가?
• RQ5 실시간 응용 프로그램에서 흔히 발생하는 변동성이 큰 상호작용 워크로드에서 시스템의 성능은 어떠한가?

주요 결과

• Cloudflow는 이미지 캐스케이드 및 영상 처리와 같은 실제 워크로드에서 기존 최고 수준의 예측 서비스 시스템 대비 최대 2배의 성능 향상을 달성한다.
• 실시간 영상 분석과 같은 요구 수준이 높은 응용 프로그램에서 요구하는 저지연 목표를 성공적으로 충족시켜, 상호작용형 사용에 적합함을 입증한다.
• 오퍼레이터 융합 및 경쟁적 실행과 같은 자동 최적화가 사용자 개입 없이도 종단 간 지연 시간을 크게 감소시킨다.
• Cloudburst와의 통합을 통해 효율적이고 세밀한 자원 할당 및 저지연 상태 접근이 가능해져, 상호작용 워크로드에 매우 중요하다.
• Cloudflow의 투명한 타입 체킹과 수동 통계 모니터링은 타입 오류를 유발하지 않으면서도 파이프라인 이상을 탐지하는 데 기여한다.
• 합성 및 실제 워크로드에 대한 평가를 통해 최적화가 효과적이며 다양한 예측 파이프라인 패턴에 널리 적용 가능하다는 것이 확인되었다.