[논문 리뷰] RecNMP: Accelerating Personalized Recommendation with Near-Memory Processing

Liu Ke, Udit Gupta외 19명|arXiv (Cornell University)|2019. 12. 30.

Caching and Content Delivery참고 문헌 62인용 수 7

한 줄 요약

RecNMP는 개인화 추천 시스템에서 희소 임bedding 연산을 가속화하기 위해 경량이며 상용 DDR4 메모리 호환 near-memory 처리 아키텍처를 제안한다. 랭크 수준의 병렬 처리, 메모리 측면 캐싱, 테이블 인식 스케줄링을 활용하여 생산 규모의 모델에서 메모리 지연 시간을 최대 9.8배 향상시키고, 처리량을 4.2배 향상시키며 메모리 에너지 소비를 45.8% 절감한다.

ABSTRACT

Personalized recommendation systems leverage deep learning models and account for the majority of data center AI cycles. Their performance is dominated by memory-bound sparse embedding operations with unique irregular memory access patterns that pose a fundamental challenge to accelerate. This paper proposes a lightweight, commodity DRAM compliant, near-memory processing solution to accelerate personalized recommendation inference. The in-depth characterization of production-grade recommendation models shows that embedding operations with high model-, operator- and data-level parallelism lead to memory bandwidth saturation, limiting recommendation inference performance. We propose RecNMP which provides a scalable solution to improve system throughput, supporting a broad range of sparse embedding models. RecNMP is specifically tailored to production environments with heavy co-location of operators on a single server. Several hardware/software co-optimization techniques such as memory-side caching, table-aware packet scheduling, and hot entry profiling are studied, resulting in up to 9.8x memory latency speedup over a highly-optimized baseline. Overall, RecNMP offers 4.2x throughput improvement and 45.8% memory energy savings.

연구 동기 및 목표

• 희귀한 희소 임베딩 연산에 의해 지배되는 생산 규모의 딥러닝 기반 개인화 추천 시스템에서 발생하는 메모리 병목 현상을 해결한다.
• 기존 가속 기법들이 정규적인 데이터 플로우 패턴과 공간적 국소성에 의존하는 데서 비롯되는 한계를 극복한다. 이러한 기법들은 희소 임베딩 워크로드에는 적용되지 않는다.
• 대부분의 상용 DDR4 DIMM과 호환되는 실용적이고 확장 가능하며 에너지 효율적인 near-memory 처리 솔루션을 설계하여 대규모 임베딩 테이블(수십에서 수백 GB)을 지원한다.
• 실제 추천 워크로드의 액세스 패턴에 맞게 하드웨are와 소프트웨어 기법을 공동 최적화하여 시스템 수준의 성능을 향상시킨다.
• CPU 캐시 경쟁을 줄이기 위해 임베딩 연산을 메모리 측면 처리 유닛으로 이관함으로써 전체 추론 처리량과 효율성을 향상시킨다.

제안 방법

• 상용 DDR4 DRAM을 사용하여 DIMM 기반 near-memory 처리 아키텍처를 구현하고, 메모리 버퍼 칩에 경량 처리 유닛(PU)을 통합한다.
• DRAM의 랭크 수준 병렬 처리를 활용하여 임베딩 테이블 검색을 여러 메모리 랭크에 분산시켜 희소 임베딩 벡터를 동시에 처리할 수 있도록 한다.
• 임베딩 액세스 패턴의 시간적 국소성을 활용하기 위해 메모리 측면 캐싱을 도입하여 불필요한 외부 메모리 액세스를 줄인다.
• 고액세스 빈도의 임베딩 테이블을 우선 처리하고 C/A 버스 경쟁을 최소화하기 위해 테이블 인식 패킷 스케줄링 메커니즘을 설계한다.
• 제어 및 주소 대역폭 오버헤드를 줄이기 위해 맞춤형 압축된 NMP 인스트럭션 세트를 개발하여 작은 임베딩 벡터에서 Gather-Reduce 연산을 효율적으로 실행할 수 있도록 한다.
• CPU에 밀접하게 연결된 희소 길이 합산(SLS)-계열 연산자를 메모리 측면 PU로 이관함으로써 CPU 캐시 압력을 감소시킨다.

실험 결과

연구 질문

• RQ1 생산 규모의 개인화 추천 모델에서 희소 임베딩 연산이 지배하는 상황에서 near-memory 처리가 메모리 대역폭 병목 현상을 어느 정도 완화할 수 있는가?
• RQ2 상용 DRAM 시스템의 랭크 수준 병렬 처리는 추천 모델에서 흔한 비정규적인 희소 메모리 액세스 패턴을 어떻게 스케일러블하게 가속화할 수 있는가?
• RQ3 특수한 3D/2.5D 메모리 스택을 요구하지 않고도 희소 임베딩 추론의 메모리 액세스 지연 시간과 에너지 소비를 효과적으로 줄일 수 있는 하드웨are-소프트웨어 공동 설계 기법은 무엇인가?
• RQ4 실제로 높은 비정규성과 함께 운영되는 생산 규모의 임베딩 트레이스에 적용했을 때, 메모리 측면 캐싱과 테이블 인식 스케줄링이 성능 향상에 상당한 기여를 할 수 있는가?
• RQ5 기존 near-memory 또는 near-data 가속 솔루션과 비교했을 때, 표준 DIMM에 경량 처리 유닛을 통합하는 것의 성능 및 에너지 효율성 트레이드오프는 어떠한가?

주요 결과

• RecNMP는 매우 최적화된 베이스라인 대비 희소 임베딩 연산에서 메모리 지연 시간을 최대 9.8배 향상시키며, 주로 랭크 수준 병렬 처리와 메모리 측면 캐싱의 효과적인 활용 덕분이다.
• 대표적인 생산 모델에서 전체 추론 처리량은 4.2배 향상되었고, 메모리 에너지 소비는 45.8% 감소했다.
• SLS 연산자를 메모리 측면 PU로 이관함으로써 CPU 캐시 경쟁이 감소하여, 함께 위치한 완전 연결(FC) 연산자에 대해 최대 30% 낮은 지연 시간을 기록했다.
• RecNMP의 경량 PU 설계는 비교 가능한 CGRA 기반 솔루션(예: Chameleon) 대비 면적의 4.1–6.5% 및 전력의 4.6–5.9%만을 소비하여 매우 에너지 효율적이다.
• 시스템은 랭크 수에 따라 선형적으로 확장되며, 다양한 벡터 크기와 액세스 패턴을 가진 희소 임베딩 모델 전반에서 일관된 성능 향상을 보였다.
• 공간적 국소성에 의존하는 기존 솔루션들과는 달리, RecNMP는 랭크 수준 병렬 처리를 활용하고 작은 임베딩 벡터를 지원함으로써, TensorDIMM과 Chameleon과 같은 기존 솔루션을 뛰어넘는 성능을 달성했다.