[논문 리뷰] ModelCI-e: Enabling Continual Learning in Deep Learning Serving Systems

Yizheng Huang, Huaizheng Zhang외 3명|arXiv (Cornell University)|2021. 06. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 6

한 줄 요약

ModelCI-e는 모델 팩토리, 지속적 학습(CL) 백엔드, 공동 작업을 위한 웹 인터페이스를 통합한 경량이며 플러그인 기반의 MLOps 시스템으로, 딥러닝 추론 시스템에서 지속적 학습을 가능하게 한다. 서빙 엔진의 수정 없이도 모델 갱신과 검증을 자동화하여 운영 오버헤드를 크게 줄이고, 학습 및 추론 워크로드 간 간섭을 최소화함으로써 시스템 효율성을 향상시킨다.

ABSTRACT

MLOps is about taking experimental ML models to production, i.e., serving the models to actual users. Unfortunately, existing ML serving systems do not adequately handle the dynamic environments in which online data diverges from offline training data, resulting in tedious model updating and deployment works. This paper implements a lightweight MLOps plugin, termed ModelCI-e (continuous integration and evolution), to address the issue. Specifically, it embraces continual learning (CL) and ML deployment techniques, providing end-to-end supports for model updating and validation without serving engine customization. ModelCI-e includes 1) a model factory that allows CL researchers to prototype and benchmark CL models with ease, 2) a CL backend to automate and orchestrate the model updating efficiently, and 3) a web interface for an ML team to manage CL service collaboratively. Our preliminary results demonstrate the usability of ModelCI-e, and indicate that eliminating the interference between model updating and inference workloads is crucial for higher system efficiency.

연구 동기 및 목표

• 생산 환경의 개념 이동 문제를 해결하기 위해 지속적 모델 갱신을 가능하게 하기 위해.
• 연구 및 DevOps 팀 간 모델 배포 및 유지보수에 소요되는 수작업 및 고된 운영을 줄이기 위해.
• TensorFlow Serving 및 Clipper와 같은 기존 서빙 시스템에 지속적 학습을 원활하게 통합할 수 있는 길을 제공하기 위해.
• 공유된 ML 클러스터 환경에서 동시 실행 중인 학습 및 추론 워크로드 간 간섭을 최소화하기 위해.
• 통합 웹 인터페이스를 통해 머신러닝 연구자와 생산 엔지니어 간의 종단 간 협업을 지원하기 위해.

제안 방법

• ModelCI-e는 PyTorch와 같은 친숙한 딥러닝 프레임워크를 사용해 연구자들이 최소한의 코드로 모델를 프로토타ип 및 벤치마킹할 수 있는 모델 팩토리를 도입한다.
• CL 백엔드를 활용해 생산 환경에서 모델 학습, 검증, 배포 워크플로우를 자동화하고 오케스트레이션한다.
• 기존 서빙 엔진과 구성 템플릿을 통합해 엔진 수정 없이도 플러그인 방식의 배포를 가능하게 한다.
• 웹 기반 대시보드는 역할 기반 협업을 지원하며 실시간 서비스 상태, 갱신 이력, 모델 카드, 검증 보고서를 표시한다.
• 모델 카드에는 벤치마킹 지표(예: 정확도, 모델 크기 효율성), 학습 데이터 통계, 재현 가능성을 위한 SQL 쿼리가 포함된다.
• 시스템은 드리프트 크기를 모니터링하고 성능 저하에 대한 통찰을 제공하여 사전 모델 갱신을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존 딥러닝 서빙 시스템에 저수준 엔진 수정 없이 지속적 학습을 효율적으로 통합할 수 있는 방법은 무엇인가?
• RQ2 생산 클러스터에서 공유된 GPU 자원을 사용해 동시 학습 및 추론 작업을 실행할 경우 성능에 어떤 영향을 미치는가?
• RQ3 머신러닝 연구자와 DevOps 엔지니어 간의 지속적 모델 갱신을 위한 협업 워크플로우를 어떻게 간소화할 수 있는가?
• RQ4 공유 클러스터 환경에서 모델 갱신이 추론 지연 시간과 학습 처리량에 얼마나 간섭하는가?
• RQ5 통합된 가벼운 플러그인 시스템은 운영 오버헤드를 줄이면서도 지속적 학습 배포에서 높은 시스템 효율성을 유지하는 데 기여할 수 있는가?

주요 결과

• ModelCI-e는 통합 웹 인터페이스를 통해 연구자와 엔지니어 간 자동화된 공동 작업 워크플로우를 제공함으로써 모델 갱신에 소요되는 수작업을 효과적으로 줄였다.
• 시스템은 모델 갱신과 추론 워크로드 간 상당한 간섭이 있음을 입증했다: Faster R-CNN 모델을 학습시킬 경우 95% 백분위 추론 지연 시간이 3배 이상 증가했다.
• 동시 추론 및 학습은 GPU 활용도 효율을 떨어뜨리며, 자원 경쟁으로 인해 학습 속도 저하가 에포크당 1.31배에서 2.74배까지 발생했다.
• 시스템 아키텍처는 모델 개발과 배포를 효과적으로 분리해, 연구자가 CL 모델을 프로토타입으로 만들고 엔지니어가 생산 배포를 원활하게 관리할 수 있도록 했다.
• 초기 결과는 학습과 추론 간 간섭을 제거하는 것이 지속적 학습 시스템에서 높은 시스템 효율성을 달성하는 데 필수적임을 보여주었다.
• 모델 카드 기능은 학습 데이터 통계, 손실 함수, 데이터 크롤링 및 검증을 위한 SQL 쿼리를 기록함으로써 완전한 재현 가능성을 보장한다.