[논문 리뷰] DisaggRec: Architecting Disaggregated Systems for Large-Scale Personalized Recommendation

Ke Liu, Xuan Zhang외 3명|arXiv (Cornell University)|2022. 12. 02.

Cloud Computing and Resource Management인용 수 5

한 줄 요약

DisaggRec는 대규모 개인화 추천 워크로드를 위한 분리형 시스템 아키텍처를 제안하며, 계산 자원과 메모리 자원을 분리하여 독립적 확장성과 향상된 비용 효율성을 가능하게 한다. 변화하는 모델 워크로드에 최적화된 자원 할당을 통해 근접 메모리 처리와 같은 이종 하드웨어를 지원함으로써, 단일 서버 대비 총소유비용(TCO)을 최대 49.3% 감소시킨다.

ABSTRACT

Deep learning-based personalized recommendation systems are widely used for online user-facing services in production datacenters, where a large amount of hardware resources are procured and managed to reliably provide low-latency services without disruption. As the recommendation models continue to evolve and grow in size, our analysis projects that datacenters deployed with monolithic servers will spend up to 12.4x total cost of ownership (TCO) to meet the requirement of model size and complexity over the next three years. Moreover, through in-depth characterization, we reveal that the monolithic server-based cluster suffers resource idleness and wastes up to 30% TCO by provisioning resources in fixed proportions. To address this challenge, we propose DisaggRec, a disaggregated system for large-scale recommendation serving. DisaggRec achieves the independent decoupled scaling-out of the compute and memory resources to match the changing demands from fast-evolving workloads. It also improves system reliability by segregating the failures of compute nodes and memory nodes. These two main benefits from disaggregation collectively reduce the TCO by up to 49.3%. Furthermore, disaggregation enables flexible and agile provisioning of increasing hardware heterogeneity in future datacenters. By deploying new hardware featuring near-memory processing capability, our evaluation shows that the disaggregated cluster achieves 21%-43.6% TCO savings over the monolithic server-based cluster across a three-year span of model evolution.

연구 동기 및 목표

• 고정된 계산-메모리 비율로 인해 자원의 불이용과 높은 총소유비용(TCO)을 초래하는 단일 서버 아키텍처의 비효율성을 해결한다.
• 계산과 메모리 요구량이 다름에도 불구하고 빠르게 변화하는 추천 모델을 처리하는 데에 한계를 가진 단일 설계의 문제를 해결한다.
• 계산 노드와 메모리 노드를 분리함으로써 고장 관리와 동적 백업 자원 할당을 독립적으로 수행할 수 있도록 하여 시스템 신뢰성을 향상시킨다.
• 근접 메모리 처리 DRAM(NMP-DIMMs)와 같은 이종 하드웨어의 영역에 대한 탄력적이고 민첩한 자원 할당을 가능하게 하여 비용 및 성능 효율성을 극대화한다.
• 실제 추천 워크로드에서 엄격한 테일지연(latency) 및 가용성 SLO를 충족시키기 위해 시스템 구성과 작업 스케줄링을 최적화한다.

제안 방법

• 워크로드 수요에 따라 계산 자원과 메모리 자원을 독립적으로 확장할 수 있도록 계산 노드(CNs)와 메모리 노드(MNs)를 분리한다.
• 분리된 노드 구성과 함께 모델 파artition 전략을 공동 최적화하여 비용을 최소화하면서도 지연과 가용성 제약을 충족시킨다.
• 계산 노드(CNs)와 메모리 노드(MNs) 간의 저지연, 고대역폭 원격 메모리 액세스를 가능하게 하기 위해 RDMA 기반 통신 프rotocol를 활용한다.
• 임bed딩 연산 중 데이터 이동과 네트워크 오버헤드를 줄이기 위해 메모리 노드에 경량 처리 기능(예: CPU 또는 ASIC)을 도입한다.
• 계산 노드와 메모리 노드 간 고장률의 차이에 따라 동적으로 백업 자원을 할당함으로써 시스템 신뢰성을 향상시킨다.
• 다양한 세대의 추천 모델에 대해 단일 클러스터와 분리 클러스터를 비교하여 시스템 성능과 비용을 평가한다.

실험 결과

연구 질문

• RQ1 변화하는 추천 모델에 대해 단일 서버의 자원 불이용은 총소유비용(TCO)에 얼마나 큰 영향을 미치는가?
• RQ2 분리된 시스템 아키텍처는 대규모 추천 서비스에서 비용 효율성과 자원 활용도를 어떻게 향상시킬 수 있는가?
• RQ3 실제 워크로드와 고장 패턴 하에서 분리 아키텍처는 테일지연과 시스템 신뢰성에 어떤 영향을 미치는가?
• RQ4 분리 아키텍처는 근접 메모리 처리 DRAM과 같은 신규 하드웨어의 통합과 비용 최적화를 어떻게 향상시킬 수 있는가?
• RQ5 세대 변화 주기 3년 동안 분리 클러스터는 단일 서버에 비해 얼마나 더 큰 TCO 절감 효과를 낼 수 있는가?

주요 결과

• 단일 서버는 고정된 계산-메모리 할당과 고장 내성 대비 과다 할당으로 인해 최대 23.1% 높은 TCO를 유발하며, 추가로 최대 6.8%의 비용 증가가 발생한다.
• DisaggRec는 계산 및 메모리 자원을 독립적으로 확장함으로써 비용을 최소화하고 동적 워크로드 수요에 최적화함으로써 TCO를 49.3% 감소시킨다.
• 세대 변화 주기 3년 동안 분리 클러스터는 단일 클러스터 대비 21%에서 43.6%까지 TCO 절감 효과를 기록하며, 특히 NMP-DIMMs와 같은 신규 하드웨어 도입 시 두드러진다.
• DisaggRec는 성능 저하가 2% 미만으로 거의 동일한 처리량을 유지하면서도 비용 효율성과 신뢰성 향상을 크게 달성한다.
• 분리 아키텍처는 유연한 할당을 통해 근접 메모리 처리 DRAM의 효과적 활용을 가능하게 하며, 메모리 대역폭의 저활용도를 줄인다.
• 고장 격리 덕분에 계산 노드의 고장이 메모리 노드에 직접 영향을 주지 않으며, 반대로도 마찬가지로, 타겟된 복구 전략을 적용할 수 있어 시스템 신뢰성이 향상된다.