[논문 리뷰] No more 996: Understanding Deep Learning Inference Serving with an Automatic Benchmarking System.

Huaizheng Zhang, Yizheng Huang외 3명|arXiv (Cornell University)|2020. 11. 04.

Advanced Neural Network Applications참고 문헌 19인용 수 4

한 줄 요약

이 논문은 딥러닝 추론 서빙을 위한 자동화된, 설정 기반의 벤치마킹 시스템을 제안하며, 이는 이질적인 하드웨어 및 소프트웨어 스택 전반에서 워크로드 생성, 작업 디스패칭, 성능 분석을 자동화한다. 이중 스케줄러를 통합함으로써 평균 작업 컴파일 시간을 최대 1.43배(30% 향상)로 단축시켜 개발자가 최소한의 설정으로 모델 배포 설정을 신속하게 평가하고 최적화할 수 있도록 한다.

ABSTRACT

Deep learning (DL) models have become core modules for many applications. However, deploying these models without careful performance benchmarking that considers both hardware and software's impact often leads to poor service and costly operational expenditure. To facilitate DL models' deployment, we implement an automatic and comprehensive benchmark system for DL developers. To accomplish benchmark-related tasks, the developers only need to prepare a configuration file consisting of a few lines of code. Our system, deployed to a leader server in DL clusters, will dispatch users' benchmark jobs to follower workers. Next, the corresponding requests, workload, and even models can be generated automatically by the system to conduct DL serving benchmarks. Finally, developers can leverage many analysis tools and models in our system to gain insights into the trade-offs of different system configurations. In addition, a two-tier scheduler is incorporated to avoid unnecessary interference and improve average job compilation time by up to 1.43x (equivalent of 30\% reduction). Our system design follows the best practice in DL clusters operations to expedite day-to-day DL service evaluation efforts by the developers. We conduct many benchmark experiments to provide in-depth and comprehensive evaluations. We believe these results are of great values as guidelines for DL service configuration and resource allocation.

연구 동기 및 목표

• 딥러닝 모델 배포에서 체계적인 성능 벤치마킹의 부족으로 인한 최적화되지 않은 서비스 품질과 높은 운영 비용 문제를 해결하기 위해.
• 간단한 설정 파일을 통한 자동화된 벤치마킹을 통해 개발자의 엔지니어링 오버헤드를 줄이기 위해.
• 통합 분석 도구와 모델을 통해 시스템 설정 간 트레이드오프에 대한 실질적인 통찰을 제공하기 위해.
• 간섭을 최소화하고 컴파일 속도를 향상시켜 딥러닝 클러스터의 작업 스케줄링 효율성을 향상시키기 위해 이중 스케줄러를 통해 작업 스케줄링을 최적화하기 위해.
• 다양한 하드웨어 및 소프트웨어 스택 전반에서 딥러닝 서빙 성능에 대한 표준화되고 반복 가능한 평가 프레임워크를 구축하기 위해.

제안 방법

• 시스템은 몇 줄의 코드로 구성된 설정 파일을 사용하여 모델, 워크로드, 대상 하드웨어를 정의함으로써 자동화된 작업 생성을 가능하게 한다.
• 리더-팔로워 아키텍처를 통해 중앙 서버에서 워커 노드로 벤치마킹 작업을 디스패칭하여 실행한다.
• 시스템은 설정 기반으로 추론 요청, 워크로드, 모델을 자동으로 생성하여 일관되고 재현 가능한 벤치마킹을 보장한다.
• 이중 스케줄러를 통해 간섭을 줄이고 컴파일 효율성을 향상시켜 최대 1.43배의 성능 향상을 달성한다.
• 다양한 설정 간 성능 트레이드오프 평가를 위해 다수의 분석 도구와 모델을 통합한다.
• 딥러닝 클러스터 운영의 최선의 실천 방식을 따르며, 일상적인 서비스 평가 및 튜닝을 간소화한다.

실험 결과

연구 질문

• RQ1 딥러닝 추론 서빙을 개발자 노력 최소화로 효율적으로 벤치마킹할 수 있는 방법은 무엇인가요?
• RQ2 작업 스케줄링은 딥러닝 클러스터에서 컴파일 시간과 시스템 스루풋에 어떤 영향을 미치나요?
• RQ3 다양한 하드웨어 및 소프트웨어 설정은 추론 성능과 자원 활용도에 어떤 영향을 미치나요?
• RQ4 모델 배포 설정에서의 주요 성능 트레이드오프는 무엇인가요?
• RQ5 자동화된 벤치마킹 시스템은 생산 환경의 딥러닝 배포에서 운영 비용을 줄이고 서비스 품질을 향상시킬 수 있나요?

주요 결과

• 제안된 벤치마킹 시스템은 몇 줄의 설정 코드만으로도 개발자가 종합적인 성능 평가를 시작할 수 있도록 한다.
• 이중 스케줄러는 평균 작업 컴파일 시간을 최대 1.43배로 단축시켜 30%의 성능 향상과 동일한 효과를 낳는다.
• 시스템은 추론 워크로드, 요청, 모델의 자동 생성을 지원하여 일관되고 반복 가능한 벤치마킹을 보장한다.
• 통합된 분석 도구와 모델을 통해 시스템 설정 간 트레이드오프에 대한 실질적인 통찰을 제공하는 프레임워크이다.
• 포괄적인 벤치마킹 실험을 통해 모델 배포 및 자원 할당에 대한 실질적인 가이드라인을 제공하는 깊이 있는 평가 결과를 도출한다.
• 시스템은 생산 환경의 최선의 실천 방식과 일치하도록 설계되어, 일상적인 딥러닝 서비스 평가 및 튜닝을 가속화한다.