[논문 리뷰] Desiderata for next generation of ML model serving

Sherif Akoush, Andrei Paleyes외 2명|arXiv (Cornell University)|2022. 10. 26.

Scientific Computing and Data Management인용 수 5

한 줄 요약

이 논문은 차세대 머신러닝 모델 서빙 플랫폼을 위한 데이터 중심 설계 프레임워크를 제안하며, 추론 파이프라인을 일등 시민 데이터플로우 그래프로, 컴포넌트 추상화로, 동기/비동기 워크로드 지원을 강조한다. 클라우드 및 엣지 환경으로의 원활한 배포, 관찰 가능성, 설명 가능성, 계속 학습, 준수성, 자원 효율성 등을 지향하며, 통합적이고 모듈형이며 확장 가능한 시스템 패턴을 통해 스케일링 가능한, 효율적이고 신뢰할 수 있는 머신러닝 추론을 실현한다.

ABSTRACT

Inference is a significant part of ML software infrastructure. Despite the variety of inference frameworks available, the field as a whole can be considered in its early days. This position paper puts forth a range of important qualities that next generation of inference platforms should be aiming for. We present our rationale for the importance of each quality, and discuss ways to achieve it in practice. We propose to focus on data-centricity as the overarching design pattern which enables smarter ML system deployment and operation at scale.

연구 동기 및 목표

• 추론이 머신러닝 컴퓨팅 자원의 최대 90%를 소비함에 따라, 확장성 있고 효율적이며 신뢰할 수 있는 ML 추론 시스템에 대한 증가하는 수요를 해결한다.
• 현재의 ML 서빙 플랫폼에서의 핵심적 한계를 특정한다. 이는 제한된 관찰 가능성, 실시간 및 엣지 워크로드에 대한 낮은 지원 수준, 약한 준수성 및 에너지 회계 기능이다.
• 데이터 중심 설계를 통합한 모듈형, 조합형, 확장 가능한 시스템 패턴을 기반으로 한 차세대 모델 서빙을 위한 통합적 프레임워크를 제안한다.
• 계속 학습, 설명 가능성, 환경 지속 가능성 등을 지원하는 추론 플랫폼을 구축하기 위한 연구 및 커뮤니티 협업을 촉진한다.

제안 방법

• 실행 시점의 전체 가시성을 확보하기 위해 추론 파이프라인을 실행 가능한 데이터플로우 그래프로 모델링하는 흐름 기반 프로그래밍(FBP)을 활용한 데이터플로우 우선 설계를 채택한다.
• 모델 정의와 배포를 분리하는 파이프라인 컴포넌트 추상화를 도입하여, 여러 추론 파이프라인 간의 재사용을 가능하게 한다.
• 동기식(요청-응답) 및 비동기식(스트리밍) 추론 패턴을 모두 지원하며, 다양한 배포 요구사항을 수용하기 위한 하이브리드 인터페이스를 제공한다.
• 표준화되고 이식 가능하며 조합 가능한 추론 컴포넌트를 통해 클라우드 및 엣지 환경으로의 원활한 배포를 가능하게 한다.
• 컨텍스트 인식 드리프트 감지 및 재귀적 기여도 분석과 같은 고급 관찰 기능을 통합하여 설명 가능성과 디버깅을 강화한다.
• 멀티모델 서빙 및 동적 모델 오버커밋을 통해 자원 효율성을 통합하고, 자동 스케일링 및 에너지 기반 비용 회계와 결합한다.

실험 결과

연구 질문

• RQ1 실행 시점에 중간 데이터 및 데이터플로우 그래프에 대한 액세스를 통해 추론 플랫폼이 어떻게 완전한 관찰 가능성과 디버깅 능력을 달성할 수 있는가?
• RQ2 공유 인프라 위에 다수의 모델을 공동 배포할 수 있도록 지원하는 데 가장 적합한 아키텍처 패턴은 무엇인가?
• RQ3 어떻게 하면 모델 서빙 시스템이 저지연, 고처리량 특성을 갖춘 배치 및 스트림 처리 워크로드를 모두 네이티브로 지원할 수 있는가?
• RQ4 데이터 기원과 설명 가능성을 추론 파이프라인에 체계적으로 통합하여 규제 및 감사 요구사항을 충족시킬 수 있는 방법은 무엇인가?
• RQ5 계속 학습과 능동 학습을 생산 환경의 추론과 밀접하게 연계하여, 시간이 지남에 따라 자가 업데이트되고 고성능을 유지하는 모델을 어떻게 실현할 수 있는가?

주요 결과

• 추론은 전체 머신러닝 라이프사이클 에너지 소비의 최대 90%를 차지하므로, 지속 가능한 배포를 위해 세밀한 에너지 및 CO2 측정치가 필요하다.
• 동적 자원 오버커밋을 포함한 멀티모델 서빙는 인프라 오버헤드를 크게 줄이고 스케일링 시 운영 효율성을 향상시킬 수 있다.
• FBP를 활용한 데이터플로우 우선 설계는 중간 데이터 및 전체 파이프라인 가시성에 대한 네이티브 액세스를 가능하게 하여, 디버깅, 모니터링 및 관찰 가능성 향상에 기여한다.
• 컨텍스트 인식 드리프트 감지 및 재귀적 기여도 분석은 더 깊은 모델 설명 가능성을 제공하며, 규제 준수 및 운영 문제 진단을 지원한다.
• 학습 파이프라인과의 원활한 통합을 통해 계속 학습이 가능해지며, 생산 환경 피드백에 기반해 모델을 자동으로 재학습하고 배포할 수 있다.
• 완전한 데이터 기원 추적을 통해 '건설 시 준수' 방식으로 준수성 및 개인정보 보호를 달성할 수 있으며, 모델 결정 및 입력 민감도의 감사 가능성을 확보할 수 있다.