[논문 리뷰] Serverless inferencing on Kubernetes

Clive Cox, Dan Sun외 4명|arXiv (Cornell University)|2020. 07. 14.

Scientific Computing and Data Management참고 문헌 5인용 수 7

한 줄 요약

이 논문은 쿠버네티스와 KNative 기반으로 구축된 서버리스 기반의 머신러닝 추론 프레임워크인 KFServing를 제시한다. 이는 자동 스케일링, 다중 프레임워크 지원, 데이터 과학자들이 일관되게 모델을 배포할 수 있도록 해준다. 서버리스 패러다임을 통해 저조도 시 모델을 0으로 스케일링하여 인프라 비용을 절감하는 방법을 보여주며, 실전 환경에서의 GPU 자동 스케일링, 지연 시간, 배치 처리, 서비스 메시 오버헤드 등의 과제를 해결한다.

ABSTRACT

Organisations are increasingly putting machine learning models into production at scale. The increasing popularity of serverless scale-to-zero paradigms presents an opportunity for deploying machine learning models to help mitigate infrastructure costs when many models may not be in continuous use. We will discuss the KFServing project which builds on the KNative serverless paradigm to provide a serverless machine learning inference solution that allows a consistent and simple interface for data scientists to deploy their models. We will show how it solves the challenges of autoscaling GPU based inference and discuss some of the lessons learnt from using it in production.

연구 동기 및 목표

• 일致되고 저비용의 인프라를 통해 대규모 머신러닝 모델을 배포하는 데 증가하는 과제를 해결한다.
• TensorFlow, PyTorch, XGBoost 등의 다양한 머신러닝 프레임워크에서 통일된 인터페이스를 통해 데이터 과학자들이 모델을 배포할 수 있도록 한다.
• 모델 버전 관리, 캐니 테스트 및 실시간 모니터링을 포함한 실전 과제를 해결한다.
• 간헐적 또는 주기적인 워크로드를 가진 모델의 경우 유휴 기간 동안 서버리스 자동 스케일링을 통해 인프라 비용을 절감한다.
• 쿠버네티스 환경에서 배치 최적화 및 자원 활용도를 높여 GPU 기반 추론의 확장성과 효율성을 향상시킨다.

제안 방법

• 서버리스 기반으로 쿠버네티스에서 이벤트 기반의 스케일 투 제로 모델 서빙을 가능하게 하기 위해 KNative를 활용한다.
• 실시간으로 처리 중인 요청의 메트릭을 수집하기 위해 사이드카 프oxy(큐-프록시)를 통합하여 자동 스케일링 결정에 활용한다.
• 일관된 API와 추상화 계층을 통해 다양한 머신러닝 프레임워크를 지원함으로써 데이터 과학자들의 배포 복잡도를 감소시킨다.
• 트래픽 관리, 관측성, 모델 추론 서비스 간의 안전한 통신을 위해 Istio 서비스 메시를 사용한다.
• GPU 활용도를 극대화하고 요청당 지연 시간을 줄이기 위해 추론 요청의 동적 배치를 구현한다.
• 쿠버네티스 네이티브 메커니즘과 Istio 트래픽 분할을 통해 캐니 및 샤페도 모델 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 서버리스 원칙을 머신러닝 추론에 효과적으로 적용하여 실전 환경에서 인프라 비용을 절감할 수 있는가?
• RQ2 GPU 환경에서 대규모 모델(예: GPT-2)을 0으로 스케일링할 경우 성능과 지연 시간의 상충 관계는 어떠한가?
• RQ3 다양한 머신러닝 프레임워크 간 일관된 배포 및 모니터링 인터페이스를 통해 다중 프레임워크 지원을 어떻게 달성할 수 있는가?
• RQ4 서비스 메시(Istio) 환경에서 수백~수천 개의 모델 추론 서비스를 운영하는 데 발생하는 운영 과제는 무엇인가?
• RQ5 실시간으로 드리프트, 이질적 입력, 악성 입력을 탐지하기 위해 모델 모니터링을 어떻게 자동화하고 확장할 수 있는가?

주요 결과

• KFServing는 TensorFlow, PyTorch, XGBoost 등 다양한 프레임워크를 일관된 API를 통해 프레임워크에 관계없이 모델을 배포할 수 있도록 한다.
• KNative와 Istio의 사용을 통해 효율적인 스케일 투 제로가 가능해져 간헐적인 워크로드를 가진 모델의 유휴 인프라 비용을 크게 절감할 수 있다.
• GPU 자동 스케일링은 효과적이지만 리눅스 CFS 스케줄링 버그로 인해 CPU 터보링이 발생하고 꼬리 지연 시간이 증가할 수 있어 주의 깊은 모니터링이 필요하다.
• 서버리스 모델의 초기 요청 지연 시간은 모델 로딩 시간으로 인해 저지연 시간 워크로드에 비용이 많이 들 수 있으며, 특히 큰 모델(5–30GB)의 경우 스케일 투 제로의 이점을 제한할 수 있다.
• 동적 배치 처리를 통해 GPU 처리량을 향상시킬 수 있으나 트래픽 패턴에 따라 튜닝이 필요하다. 최적화되지 않은 배치 크기는 응답 지연 시간을 증가시킨다.
• 대규모 서비스 메시 배포(예: 100~1000개의 모델)는 메모리 및 제어 평면 오버헤드를 증가시키지만, Istio 1.5의 제어 평면을 istiod로 통합함으로써 관리 복잡도를 감소시킨다.