[논문 리뷰] Demystifying the MLPerf Benchmark Suite

Snehil Verma, Qinzhe Wu외 5명|arXiv (Cornell University)|2019. 08. 24.

Natural Language Processing Techniques참고 문헌 26인용 수 6

한 줄 요약

이 논문은 분산 딥 러닝 훈련에서의 시스템 병목 현상을 밝혀내기 위해 다양한 하드웨어 플랫폼에서 MLPerf 벤치마크 세트의 포괄적인 특성 분석을 제공한다. MLPerf 벤치마크는 스케일링 효율성, 통신 패턴, 하드웨어 민감성 측면에서 상당한 차이를 보이며, 최적화된 인터커넥트(예: NVLink), 스마트 스케줄링, 컴파일러 최적화를 통해 성능을 극대화할 필요가 있음을 시사한다.

ABSTRACT

MLPerf, an emerging machine learning benchmark suite strives to cover a broad range of applications of machine learning. We present a study on its characteristics and how the MLPerf benchmarks differ from some of the previous deep learning benchmarks like DAWNBench and DeepBench. We find that application benchmarks such as MLPerf (although rich in kernels) exhibit different features compared to kernel benchmarks such as DeepBench. MLPerf benchmark suite contains a diverse set of models which allows unveiling various bottlenecks in the system. Based on our findings, dedicated low latency interconnect between GPUs in multi-GPU systems is required for optimal distributed deep learning training. We also observe variation in scaling efficiency across the MLPerf models. The variation exhibited by the different models highlight the importance of smart scheduling strategies for multi-GPU training. Another observation is that CPU utilization increases with increase in number of GPUs used for training. Corroborating prior work we also observe and quantify improvements possible by compiler optimizations, mixed-precision training and use of Tensor Cores.

연구 동기 및 목표

• 다양한 하드웨어 플랫폼에서 MLPerf 벤치마크 세트의 성능 특성을 분석하기 위해.
• DAWNBench와 DeepBench와 같은 이전 딥 러닝 벤치마크와 비교해 MLPerf 벤치마크가 워크로드 행동 및 시스템 병목 현상 측면에서 어떻게 다를지 이해하기 위해.
• 하드웨어 인터커넥트(예: PCIe 대비 NVLink), CPU 활용도, 시스템 토폴로지가 훈련 성능에 미치는 영향을 조사하기 위해.
• 컴파일러 최적화, 혼합 정밀도 훈련, 텐서 코어 활용이 MLPerf 워크로드 가속화에 어떤 역할을 하는지 평가하기 위해.
• 모델별 스케일링 행동에 기반한 다중 GPU 환경에서의 지능형 스케줄링 기회를 식별하기 위해.

제안 방법

• NVLink, PCIe 스위치, CPU 기반 GPU 연결을 갖춘 시스템을 포함한 여러 하드웨어 플랫폼에서 실험을 수행하여 종단 간 훈련 성능을 평가했다.
• 다중 GPU 분산 훈련, 다중 하이퍼파라미터 실행, 혼합 워크로드의 세 가지 유형에 대해 GPU 및 CPU 활용도를 측정했다.
• 다중 GPU 훈련에서의 통신 오버헤드를 평가하기 위해 PCIe 및 NVLink 버스를 통한 데이터 전송 속도를 분석했다.
• XLA 컴파일러 최적화와 텐서 코어를 활용한 혼합 정밀도 훈련이 수렴 속도와 정확도에 미치는 영향을 평가했다.
• 산술 강도와 메모리 대역폭 요구 사항을 MLPerf, DAWNBench, DeepBench 간 비교하기 위해 워크로드를 룕프라이드 성능 모델에 매핑했다.
• 예: ResNet-50을 텐서플로우 대비 MXNet에서 실행한 결과를 비교하여, 실행 구현 방식에 따른 성능 변동성을 평가했다.

실험 결과

연구 질문

• RQ1 NVLink와 PCIe를 갖춘 다양한 인터커넥트를 가진 다중 GPU 시스템에서 MLPerf 벤치마크는 스케일링 효율성과 통신 패턴 측면에서 어떻게 다를까?
• RQ2 XLA와 같은 컴파일러 최적화와 혼합 정밀도 훈련이 MLPerf 워크로드 성능 향상에 얼마나 기여하는가?
• RQ3 GPU 인터커넥트 선택(PCIe 대비 NVLink)이 훈련 처리량과 시스템 활용도에 어떤 영향을 미치는가?
• RQ4 분산 훈련에서 모델 아키텍처와 시스템 자원 활용도(CPU/GPU) 간의 관계는 어떠한가?
• RQ5 MLPerf 벤치마크는 DAWNBench와 DeepBench와 같은 이전 벤치마크와 비교해 계산 강도와 메모리 대역폭 요구 사항 측면에서 어떻게 다를까?

주요 결과

• MLPerf 벤치마크는 내부적으로 상당한 이질성을 보이며, 스케일링 효율성이 크게 다름 — 예를 들어 텐서플로우에서의 ResNet-50는 거의 완벽한 스케일링을 보이지만, NCF_Py는 열악한 스케일링을 보임.
• NVLink를 지원하는 시스템은 PCIe 기반 시스템 대비 최대 40% 빠른 훈련 시간을 기록하며, 특히 통신 집약적인 모델인 MLPf_NCF_Py에서 가장 높은 성능 향상을 보임.
• XLA 컴파일러 최적화로 인해 텐서플로우에서의 ResNet-50 훈련 시간이 40% 감소했고 정확도에 영향을 주지 않음 — 이는 커널 융합과 컴파일러 최적화의 가치를 입증함.
• 텐서 코어를 활용한 혼합 정밀도 훈련은 ResNet-50_TF에서는 3.3배의 속도 향상을, MRCNN_Py에서는 1.5배의 속도 향상을 기록함 — 이는 모델에 따라 성능 향상이 다름.
• 더 많은 GPU를 사용할수록 특히 다중 실행 및 혼합 실행 시나리오에서 CPU 활용도가 크게 증가함 — 이는 각 GPU의 호스트 프로그램 오버헤드 때문임.
• 분산 훈련 중 PCIe 버스 활용도는 MLPf_NCF_Py의 경우 최대 58.95 GBps에 달했으며, 이는 GPU 간 직접 연결이 없는 PCIe 기반 시스템에서 통신이 병목 현상이 될 수 있음을 시사함.