[논문 리뷰] Clipper: A Low-Latency Online Prediction Serving System

Daniel Crankshaw, Xin Wang외 4명|arXiv (Cornell University)|2016. 12. 09.

Data Stream Mining Techniques참고 문헌 36인용 수 81

한 줄 요약

Clipper는 모듈식이고 계층적인 아키텍처를 통해 기계학습 프레임워크에서 온라인 추론을 분리하는 일반 목적의 저지연 예측 서비스 시스템이다. 캐싱, 적응형 배치, 다중 프레임워크 간 동적 모델 선택을 통해 지연을 줄이고 처리량을 높이며, Tensorflow Serving와 유사한 성능을 달성하면서도 최소한의 오버헤드로 프레임워크 간 모델 조합, 온라인 학습, 맥락 기반 개인화를 지원한다.

ABSTRACT

Machine learning is being deployed in a growing number of applications which demand real-time, accurate, and robust predictions under heavy query load. However, most machine learning frameworks and systems only address model training and not deployment. In this paper, we introduce Clipper, a general-purpose low-latency prediction serving system. Interposing between end-user applications and a wide range of machine learning frameworks, Clipper introduces a modular architecture to simplify model deployment across frameworks and applications. Furthermore, by introducing caching, batching, and adaptive model selection techniques, Clipper reduces prediction latency and improves prediction throughput, accuracy, and robustness without modifying the underlying machine learning frameworks. We evaluate Clipper on four common machine learning benchmark datasets and demonstrate its ability to meet the latency, accuracy, and throughput demands of online serving applications. Finally, we compare Clipper to the TensorFlow Serving system and demonstrate that we are able to achieve comparable throughput and latency while enabling model composition and online learning to improve accuracy and render more robust predictions.

연구 동기 및 목표

• 다양한 기계학습 프레임워크를 지원하는 일반 목적의 저지연 예측 서비스 시스템의 부족을 해결하기 위해.
• 기본 기계학습 프레임워크를 수정하지 않고 추론 지연을 줄이고 처리량을 높이기 위해.
• 동적 모델 선택, 앙상블 기법, 불확실성 추정을 통해 예측 정확도와 강건성을 향상시키기 위해.
• 성능을 희생시키지 않고도 온라인 학습과 개인화를 모델 간에 구현하기 위해.
• 신속한 신규 모델 및 프레임워크 통합을 지원하는 모듈식이고 확장 가능한 아키텍처를 제공하기 위해.

제안 방법

• Clipper는 두 계층 아키텍처를 사용한다: 모델 추상화 계층은 다양한 프레임워크 간의 모델 인터페이스를 추상화하여 투명한 배포 및 실행을 가능하게 한다.
• 모델 선택 계층은 밴딧 알고리즘과 앙상블 기법을 사용해 다수의 모델 예측을 동적으로 선택하고 조합함으로써 정확도와 강건성을 향상시킨다.
• 캐싱과 적응형 배치는 모델 추상화 계층에 적용되어 꼬리 지연을 제한하고 쿼리 부하 하에서 처리량을 극대화한다.
• 지연자 방지 기법은 모델 선택 계층에서 사용되어 느린 모델을 기다리지 않고 종단 간 지연을 줄인다.
• 시스템은 루스트로 구현되었으며 공통 API를 노출하여 새로운 프레임워크를 25줄 이내의 코드로 통합할 수 있다.
• Clipper는 프레임워크 간 모델 조합과 온라인 학습을 지원하여 사용자 기반 피드백과 변화하는 데이터에 동적으로 대응할 수 있다.

실험 결과

연구 질문

• RQ1 예측 서비스 시스템은 다양한 기계학습 프레임워크 간에 어떻게 저지연 및 경계가 명확한 지연을 달성할 수 있는가?
• RQ2 모듈식이고 일반 목적의 서비스 시스템은 TensorFlow Serving처럼 밀접하게 통합된 시스템의 성능을 따라잡을 수 있는가?
• RQ3 동적 모델 선택은 온라인 서비스 환경에서 예측 정확도와 강건성을 어떻게 향상시킬 수 있는가?
• RQ4 기본 기계학습 프레임워크를 수정하지 않고도 효율적인 캐싱과 배치를 구현할 수 있는 메커니즘은 무엇인가?
• RQ5 온라인 학습과 개인화는 저지연 서비스 시스템에 효과적으로 통합될 수 있는가?

주요 결과

• Clipper는 모든 벤치마크 데이터셋에서 20ms 이내의 꼬리 지연을 달성하여 높은 부하 상황에서도 стрict한 지연 경계를 확보했다.
• 캐싱과 적응형 배치를 적용함으로써 최대 26배의 처리량 향상이 관찰되었으며, 높은 쿼리 볼륨 상황에서도 유사한 성능을 유지했다.
• Clipper는 처리량과 지연 성능에서 Tensorflow Serving과 유사한 성능을 보였으며, 훨씬 더 많은 기능을 지원했다.
• 시스템은 동적 모델 조합과 온라인 학습을 가능하게 하여 실제 환경에서 정확도와 강건성을 향상시켰다.
• 신규 기계학습 프레임워크는 25줄 이내의 코드로 통합 가능하여 높은 확장성을 입증했다.
• 모델 선택 계층에서의 지연자 방지 기법은 느린 모델에 의존하지 않아 지연을 효과적으로 줄였다.