[논문 리뷰] Understanding Training Efficiency of Deep Learning Recommendation Models at Scale

Bilge Acun, M. Murphy외 4명|arXiv (Cornell University)|2020. 11. 11.

Recommender Systems and Techniques참고 문헌 44인용 수 8

한 줄 요약

이 논문은 GPU 가속 시스템에서 대규모 딥러닝 추천 모델의 학습 효율성을 조사하며, 모델 아키텍처 구성—특히 임bedding 테이블 크기, MLP 깊이, 특징 유형—이 GPU 활용도와 처리량에 상당한 영향을 미친다는 것을 밝혀냈다. 페이스북의 빅 베이신과 자이언 GPU 플랫폼에서 수행된 500회 이상의 학습 실행을 통해 분석한 결과, 최적의 성능은 동적 임베딩 테이블 배치 전략과 하드웨어-소프트웨어 공동 설계에 달려 있으며, 새로운 자이언 시스템에서는 기존 CPU 또는 이전 세대 GPU 설정 대비 처리량이 최대 3배 향상됨을 입증하였다.

ABSTRACT

The use of GPUs has proliferated for machine learning workflows and is now considered mainstream for many deep learning models. Meanwhile, when training state-of-the-art personal recommendation models, which consume the highest number of compute cycles at our large-scale datacenters, the use of GPUs came with various challenges due to having both compute-intensive and memory-intensive components. GPU performance and efficiency of these recommendation models are largely affected by model architecture configurations such as dense and sparse features, MLP dimensions. Furthermore, these models often contain large embedding tables that do not fit into limited GPU memory. The goal of this paper is to explain the intricacies of using GPUs for training recommendation models, factors affecting hardware efficiency at scale, and learnings from a new scale-up GPU server design, Zion.

연구 동기 및 목표

• 대규모 딥러닝 추천 모델을 GPU 시스템에서 학습할 때 발생하는 성능 저하 요인을 이해하기 위해.
• 임베딩 테이블 크기, MLP 차원, 특징 유형과 같은 모델 아키텍처 파rameter가 GPU 메모리 및 계산 활용도에 미치는 영향을 규명하기 위해.
• 다양한 하드웨어 플랫폼에서 임베딩 테이블 배치 전략(_GPU 메모리, 시스템 메모리, 원격 CPU 메모리_)의 효과를 평가하기 위해.
• 페이스북 규모의 실제 학습 워크로드를 분석하여 차세대 학습 인프라 설계를 이끌기 위해.
• 이질적인 데이터센터 환경에서 학습 처리량과 자원 효율성을 최적화하기 위한 성능 특성화 프레임워크를 제공하기 위해.

제안 방법

• CPU, 빅 베이신(8-GPU), 자이언(차세대 GPU) 시스템에서 500회 이상의 생산 규모 학습 실행을 수행하여 처리량과 자원 활용도를 측정하였다.
• 모델 크기와 하드웨어 제약 조건에 따라 GPU 메모리, 시스템 메모리, 원격 CPU 메모리에 배치된 다양한 임베딩 테이블 배치 전략을 구현하고 평가하였다.
• CPU, 메모리, 대역폭 등의 자원 활용도 지표를 사용하여 다양한 모델 구성에서의 시스템 효율성을 분석하였다.
• 배치 크기, 흐문/희박 특징 수, 임베딩 차원, MLP 깊이와 같은 모델 하이퍼파라미터의 체계적 분석을 통해 학습 성능와의 상관관계를 규명하였다.
• 실제 생산 모델(M1_prod, M2_prod, M3_prod)을 활용하여 다양한 하드웨어 플랫폼 간의 성능 스케일링을 평가하였다.
• 불규칙한 메모리 액세스 패턴과 그로 인한 학습 효율성 저하, 특히 대규모 임베딩 테이블에서의 영향에 대한 통찰을 도출하였다.

실험 결과

연구 질문

• RQ1 임베딩 테이블 크기, MLP 깊이, 특징 유형과 같은 모델 아키텍처 파rameter가 GPU 학습 처리량과 자원 활용도에 어떻게 영향을 미치는가?
• RQ2 다양한 모델 구성에 따라 GPU 플랫폼에서 최적의 임베딩 테이블 배치 전략(GPU 메모리, 시스템 메모리, 원격 CPU)은 무엇인가?
• RQ3 고성능 컴퓨팅 능력을 지닌 GPU 시스템에서도 일부 추천 모델이 성능 스케일링이 잘 되지 않는 이유는 무엇이며, 이러한 현상의 시스템 수준의 저하 요인은 무엇인가?
• RQ4 자이언과 같은 차세대 GPU 시스템 설계는 기존 플랫폼 대비 대규모 추천 모델의 학습 효율성을 어떻게 향상시키는가?
• RQ5 임베딩 룩업에서 발생하는 불규칙한 벡터 액세스 패턴이 처리량에 미치는 제한 요인은 어느 정도이며, 이를 시스템 설계를 통해 어떻게 완화할 수 있는가?

주요 결과

• 임베딩 테이블 크기와 메모리 액세스 패턴의 차이로 인해 처리량이 모델 간에 크게 다름을 확인하였으며, TB 규모의 임베딩 테이블을 가진 M3_prod는 스케일링이 떨어짐.
• 빅 베이신 GPU에서 M1_prod와 M2_prod는 임베딩 테이블을 GPU 메모리에 저장할 경우 최고의 처리량을 기록하지만, M3_prod는 GPU 메모리 오버플로우로 인해 원격 CPU 메모리에 저장할 경우 성능이 가장 우수함.
• 자이언 플랫폼에서는 임베딩 테이블을 시스템 메모리에 배치할 경우 최적의 성능을 기록함. 이는 GPU 메모리보다 용량과 대역폭이 높기 때문임.
• CPU에서 빅 베이신 GPU 서버로 전환함에 따라 일부 모델의 처리량은 최대 3배 향상되었으며, 자이언 플랫폼에서는 더 높은 메모리 대역폭과 용량 덕분에 추가적인 성능 향상이 이루어짐.
• 모델 아키텍처 구성—특히 흐문 특징 수와 MLP 차원—으로 인해 CPU, 메모리, 네트워크 대역폭 활용도가 크게 변동함을 확인하였으며, 이는 상당한 최적화 기회를 노출함.
• 특히 대규모 희박 특징 세트를 가진 모델에서 발생하는 임베딩 룩업의 불규칙한 벡터 액세스는 주요 성능 저하 요인이며, 전용 시스템 수준 최적화가 필요함.