[논문 리뷰] The Architectural Implications of Facebook's DNN-based Personalized Recommendation

Udit Gupta, Carole-Jean Wu외 13명|arXiv (Cornell University)|2019. 06. 06.

Recommender Systems and Techniques참고 문헌 51인용 수 14

한 줄 요약

이 논문은 페이스북에서 운영 중인 대규모 딥 뉴럴 네트워크(DNN) 기반 개인화 추천 시스템의 성능 분석을 상세히 제시하며, 인텔 서버 세대에 걸친 추론 워크로드에 중점을 둔다. 인텔 하스웰, 브로드웰, 스카이레이크 CPU 간 추론 지연 시간은 최대 60%의 격차를 보이며, 배치 처리와 공유 실행(co-location)이 처리량을 크게 향상시킨다. 스카이레이크는 AVX-512와 높은 계산 밀도 덕분에 배치 처리 및 계산 집약적인 워크로드에서 뛰어난 성능을 보인다.

ABSTRACT

The widespread application of deep learning has changed the landscape of computation in the data center. In particular, personalized recommendation for content ranking is now largely accomplished leveraging deep neural networks. However, despite the importance of these models and the amount of compute cycles they consume, relatively little research attention has been devoted to systems for recommendation. To facilitate research and to advance the understanding of these workloads, this paper presents a set of real-world, production-scale DNNs for personalized recommendation coupled with relevant performance metrics for evaluation. In addition to releasing a set of open-source workloads, we conduct in-depth analysis that underpins future system design and optimization for at-scale recommendation: Inference latency varies by 60% across three Intel server generations, batching and co-location of inferences can drastically improve latency-bounded throughput, and the diverse composition of recommendation models leads to different optimization strategies.

연구 동기 및 목표

• 학술 연구에서 추천 시스템을 위한 대표성 있고 생산 규모의 DNN 워크로드가 부족한 문제를 해결하기 위해.
• 대규모 추천 추론에서의 고유한 성능 저하 요인(메모리 액세스 패턴, 계산 집약도 등)을 규명하기 위해.
• 인텔 하스웰, 브로드웰, 스카이레이크와 같은 하드웨어 플랫폼의 이질성(이질성)이 추론 지연 시간과 처리량에 미치는 영향을 평가하기 위해.
• 여러 추론 워크로드가 동일한 하드웨어를 공유할 때 자원 활용도와 성능 변동성에 미치는 배치 처리 및 공유 실행의 영향을 연구하기 위해.
• 향후 대규모 추천 시스템을 위한 시스템 및 아키텍처 최적화를 가능하게 하기 위해 오픈소스 워크로드와 트레이스 데이터를 제공하기 위해.

제안 방법

• 실제 페이스북 데이터센터 트레이스를 기반으로 세 가지 주요 생산 추천 모델 클래스(RMC1, RMC2, RMC3)를 특성화하였다.
• 실제 추천 모델의 계산 및 메모리 특성(임bedding 테이블, 완전 연결층 포함)을 반영한 합성 DNN 워크로드를 설계하였다.
• 다양한 배치 크기와 워크로드 조건에서 세 대의 인텔 서버 세대(하스웰, 브로드웰, 스카이레이크) 간 추론 성능을 평가하였다.
• 실제 서비스 수준 합의(SLA) 제약 조건을 반영하기 위해 지연 시간 기반 처리량(latency-bounded throughput)을 핵심 성능 지표로 측정하였다.
• 여러 추론 워크로드가 동일한 하드웨어를 공유할 때 성능 변동성을 평가하기 위해 공유 실행 실험을 수행하였다.
• 메모리 시스템 및 캐싱 최적화 연구를 가능하게 하기 위해 오픈소스 임베딩 트레이스 생성기를 공개하였다.

실험 결과

연구 질문

• RQ1 생산 규모의 추천 워크로드에서 인텔 CPU의 세대 간 추론 성능 특성은 어떻게 다름?
• RQ2 배치 처리와 공유 실행이 추론의 지연 시간 기반 처리량에 어떤 영향을 미치는가?
• RQ3 RMC1, RMC2, RMC3 모델의 고유한 아키텍처 특성이 성능 저하 요인과 최적의 하드웨어 구성에 어떻게 영향을 미치는가?
• RQ4 기존의 공개 벤치마크인 MLPerf-NCF는 실제 생산 환경의 추천 시스템이 요구하는 계산 및 메모리 요구사항을 어느 정도 반영하는가?
• RQ5 추론 성능과 데이터센터 내 스케줄링에 영향을 미치는 주요 마이크로아키텍처 특성(예: SIMD 폭, 캐시 크기, DRAM 대역폭)은 무엇인가?

주요 결과

• 인텔 하스웰, 브로드웰, 스카이레이크 서버 세대 간 추론 지연 시간은 최대 60%의 격차를 보이며, 단일 배치 크기에서 브로드웰가 가장 낮은 지연 시간을 기록한다.
• 스카이레이크는 더 높은 계산 밀도와 AVX-512 지시어의 효과적인 활용 덕분에 배치 처리 추론의 처리량이 최대화되어 다른 세대 대비 최대 30% 높은 처리량을 달성한다.
• 여러 추론 워크로드가 공유 실행될 경우 성능 변동성이 증가하므로, 자원 경쟁을 관리하기 위한 지능적인 스케줄링이 필요하다.
• 데이터센터 규모 워크로드에서는 지연 시간만을 성능 지표로 삼는 것은 부적절하며, 실질적인 SLA 제약 조건 하에서는 지연 시간 기반 처리량이 더 적합한 지표이다.
• 추천 모델은 다양한 성능 저하 요인을 보이며, RMC1과 RMC3는 계산 집약적인 성향을 띠며 고주파수 코어와 넓은 SIMD 유닛에서 유리하다. 반면 임베딩이 많은 모델은 메모리 대역폭과 캐시 용량에 의해 제한된다.
• 임베딩 트레이스 생성기의 오픈소스 공개로 향후 추론 워크로드를 위한 지능형 캐싱, 프리패칭, 메모리 시스템 최적화 연구가 가능해졌다.