[논문 리뷰] InferBench: Understanding Deep Learning Inference Serving with an Automatic Benchmarking System

Huaizheng Zhang, Yizheng Huang외 3명|arXiv (Cornell University)|2020. 11. 04.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 6

한 줄 요약

InferBench는 작업 생성, 모델 변형, 성능 분석을 자동화함으로써 딥러닝 추론 서빙 평가를 간소화하는 분산형 자동 벤치마킹 시스템이다. 이중 스케줄러를 통해 평균 작업 완료 시간을 30% 단축(1.43배 성능 향상)하며, 하드웨어, 소프트웨어, 파이프라인 구성에 따른 지연, 비용, 자원 활용 간 상호 트레이드오���에 대한 실질적인 지침을 제공한다.

ABSTRACT

Deep learning (DL) models have become core modules for many applications. However, deploying these models without careful performance benchmarking that considers both hardware and software's impact often leads to poor service and costly operational expenditure. To facilitate DL models' deployment, we implement an automatic and comprehensive benchmark system for DL developers. To accomplish benchmark-related tasks, the developers only need to prepare a configuration file consisting of a few lines of code. Our system, deployed to a leader server in DL clusters, will dispatch users' benchmark jobs to follower workers. Next, the corresponding requests, workload, and even models can be generated automatically by the system to conduct DL serving benchmarks. Finally, developers can leverage many analysis tools and models in our system to gain insights into the trade-offs of different system configurations. In addition, a two-tier scheduler is incorporated to avoid unnecessary interference and improve average job compilation time by up to 1.43x (equivalent of 30\% reduction). Our system design follows the best practice in DL clusters operations to expedite day-to-day DL service evaluation efforts by the developers. We conduct many benchmark experiments to provide in-depth and comprehensive evaluations. We believe these results are of great values as guidelines for DL service configuration and resource allocation.

연구 동기 및 목표

• MLPerf와 같은 기존 딥러닝 추론 벤치마킹 시스템에서의 구성 가능성 부족과 자동화 부족 문제를 해결한다.
• 생산 환경에서 딥러닝 모델을 구현하는 개발자가 수행하는 수작업 및 실수 유발 작업을 줄인다.
• 하드웨어, 소프트웨어, 추론 파이프라인 구성에 걸쳐 설계 공간의 포괄적 탐색을 가능하게 한다.
• 실제 환경 제약 조건 하에서 서비스 구성 및 자원 할당에 대한 실질적, 데이터 기반 지침을 제공한다.
• 새로운 이중 스케줄러를 통해 평균 작업 완료 시간을 30% 감소시켜 시스템 효율성을 향상시킨다.

제안 방법

• 개발자가 구성 파일만 제출하는 딥러닝 클러스터에 자동 벤치마킹 시스템을 구축한다.
• 다양한 초모수(예: 레이어 수, 유형 등)를 가진 다양한 모델을 자동 생성하여 설계 공간을 탐색한다.
• 리더-팔로워 아키텍처를 통해 벤치마킹 작업을 분산 배포하며, 리더가 작업을 워커 노드에 할당한다.
• 대기열 인식 로드 밸런싱과 단기 작업 우선(SJF)을 조합한 이중 스케줄러를 구현하여 작업 완료 시간을 최소화한다.
• 표준화된 메트릭(꼬리 지연, 클라우드 비용, 자원 사용량)과 분석 모델(Roofline, 히트맵)을 사용해 성능 프로파일링을 수행한다.
• 3가지 네트워킹 기술(예: 4G LTE)을 사용해 실제 추론 파이프라인을 시뮬레이션하여 종단 간 지연과 전송 영향을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 추론 벤치마킹을 자동화하여 개발자의 노력과 실수 비율을 어떻게 줄일 수 있는가?
• RQ2 다양한 하드웨어 플랫폼, 서빙 소프트웨어, 네트워크 조건이 추론 성능과 비용에 어떤 영향을 미치는가?
• RQ3 배치 크기 및 모델 깊이 등의 초모수는 지연, 처리량, 자원 활용도에 어떻게 영향을 미치는가?
• RQ4 이중 스케줄러는 분산 벤치마킹 환경에서 작업 완료 시간을 크게 향상시킬 수 있는가?
• RQ5 실제 딥러닝 서빙 배포 환경에서 지연, 비용, 자원 사용 간 핵심 트레이드오프는 무엇인가?

주요 결과

• 대기열 인식과 SJF를 조합한 이중 스케줄러는 평균 작업 완료 시간을 1.43배 향상시켜 30% 향상 효과를 달성했다.
• 작은 배치 크기에서는 전송 시간이 추론 시간과 유사했지만, 배치 크기가 증가함에 따라 추론 시간이 지배적이 되었다.
• 4G LTE는 가장 높은 종단 간 지연을 유발하여 모바일 추론 워크로드에 상당한 네트워크 오버헤드가 있음을 시사했다.
• 작은 모델인 ResNet50의 콜드 스타트 시간이 10초를 초과해 자원 할당에 도전 과제를 제기했다.
• TFS는 TrIS보다 안정성과 효율성 측면에서 더 높은 GPU 활용도를 보였다.
• 이 시스템은 하드웨어, 소프트웨어, 파이프라인의 3단계에 걸쳐 포괄적 분석을 가능하게 하여 구성 및 최적화에 실질적인 통찰을 제공했다.