[논문 리뷰] RecSSD: Near Data Processing for Solid State Drive Based Recommendation Inference

Mark Wilkening, Udit Gupta외 5명|arXiv (Cornell University)|2021. 01. 29.

Advanced Data Storage Technologies참고 문헌 30인용 수 4

한 줄 요약

RecSSD는 데이터센터 추천 시스템에서 성능 저하 요인이 되는 임베딩 테이블 연산을 직접 SSD에 이관하는 near data processing (NDP) 아키텍처를 제안한다. 이로 인해 기존 SSD 대비 종단 간 추론 지연을 최대 2배까지 감소시킨다. RecSSD는 SSD 내부에서 gather 및 집계 연산을 수행하고, 호스트 및 장치 측 캐싱을 활용함으로써 실제 OpenSSD 플랫폼에서 임베딩 연산 지연을 최대 4배까지 낮춘다.

ABSTRACT

Neural personalized recommendation models are used across a wide variety of datacenter applications including search, social media, and entertainment. State-of-the-art models comprise large embedding tables that have billions of parameters requiring large memory capacities. Unfortunately, large and fast DRAM-based memories levy high infrastructure costs. Conventional SSD-based storage solutions offer an order of magnitude larger capacity, but have worse read latency and bandwidth, degrading inference performance. RecSSD is a near data processing based SSD memory system customized for neural recommendation inference that reduces end-to-end model inference latency by 2X compared to using COTS SSDs across eight industry-representative models.

연구 동기 및 목표

• 데이터센터 추천 시스템에서 대용량 DRAM 기반 임베딩 테이블로 인한 높은 인프라 비용과 성능 저하 문제를 해결한다.
• 고용량·저지연 추천 추론에 사용되는 기존 SSD의 지연 및 대역폭 제약을 극복한다.
• 스마트한 장치 내 처리 기능을 활용해 SSD를 활용한 비용 효율적이고 확장 가능한 대규모 추천 모델 배포를 가능하게 한다.
• 오픈소스 하드웨어와 표준 NVMe 인터페이스를 사용해 실용적인 데이터센터 환경에서 NDP의 구현 가능성을 입증한다.

제안 방법

• near data processing (NDP) 기능을 활용해 CPU에서 SSD로 전체 임베딩 테이블 연산(Gather 및 Aggregation)을 이관한다.
• 호스트 하드웨어나 프rotocol를 변경하지 않고도 NDP 워크로드를 실행하기 위해 SSD의 FTL(플래시 번역 레이어)에 맞춤형 펌웨어를 통합한다.
• 쿼리 국지성 패턴을 활용하기 위해 호스트 측 DRAM 캐싱과 SSD 측 캐싱을 조합한 하이브리드 캐싱 전략을 적용한다.
• 기존 추천 워크로드와의 원활한 통합을 위해 NDP 인터페이스를 노출하는 수정된 UNVMe 드라이버 라이브러리를 사용한다.
• 페이스북의 DLRM에서 유래한 실세계 트레이스 데이터와 합성 워크로드를 활용해 생산 규모의 액세스 패턴을 모델링한다.
• 실제 Cosmos+OpenSSD 플랫폼에 Xilinx SDK와 NVMe 준수 펌웨어를 사용해 시스템을 구현함으로써 생산 환경 대응성을 확보한다.

Figure 1. Recommendation models process both categorical and continuous input features.

실험 결과

연구 질문

• RQ1 기존 SSD 대비 SSD 내 near data processing을 통해 신경망 기반 추천 모델의 종단 간 추론 지연을 크게 감소시킬 수 있는가?
• RQ2 장치 내 연산을 통한 임베딩 연산 처리가 DRAM과 SSD 간 성능 격차를 해소하는 데 얼마나 효과적인가?
• RQ3 호스트 측 및 SSD 측 캐싱이 추천 추론 워크로드의 지연 감소에 얼마나 상호 보완적으로 기여하는가?
• RQ4 하드웨어 수정 없이도 완전히 소프트웨어 기반으로 구현된 NDP 솔루션을 일반 소비자용 SSD에 배포할 수 있는가?
• RQ5 RecSSD의 성능 영향은 다양한 산업 대표 추천 모델에 대해 어떻게 나타나는가?

주요 결과

• RecSSD는 기존 COTS SSD 대비 산업 대표 8종의 추천 모델에서 종단 간 추론 지연을 최대 2배까지 감소시킨다.
• 임베딩 연산에 의해 지배되는 메모리 기반 모델의 경우, RecSSD는 개별 임베딩 테이블 연산에서 최대 4배의 지연 감소를 달성한다.
• 8개 모델 중 5개는 계산 중심이고 메모리 기반 요소가 적어, RecSSD가 DRAM 기반 시스템과 유사한 성능을 보인다.
• RecSSD의 하이브리드 캐싱 전략은 실세계 추천 워크로드에서 관찰된 액세스 국지성 패턴을 효과적으로 활용해 총 지연을 감소시킨다.
• 표준 NVMe 인터페이스를 사용한 실제 OpenSSD 플랫폼에 대한 구현을 통해 데이터센터 환경에서 NDP를 배포할 수 있음을 확인한다.
• 이러한 성능 향상은 하드웨어 변경 없이 FTL 및 UNVMe 스택 내 펌웨어 및 드라이버 수정에만 의존하여 달성된다.

Figure 2. In order to support a high performance and simple logical block interface to the host while handling the peculiarities of NAND Flash memories, SSDs are designed with a Microprocessor operating alongside dedicated memory controllers.