[논문 리뷰] A Case for CXL-Centric Server Processors

Albert Cho, Anish Saxena외 2명|arXiv (Cornell University)|2023. 05. 08.

Parallel Computing and Optimization Techniques인용 수 1

한 줄 요약

이 논문은 DDR 메모리 인터페이스를 모두 CXL로 대체하여 핀 제한된 대역폭 문제를 해결하는 CXL 중심의 서버 프로세서 아키텍처인 COAXIAL을 제안한다. CXL은 핀당 대역폭을 4배로 높여 더 많은 채널에서 메모리 대기 시간을 줄이며, 이로 인해 메모리 집약적 워크로드에서 평균 성능을 1.52배 향상시키고 최대 3배까지 성능 향상을 이룬다. 이는 다소 높은 지연 시간 오버헤드가 존재하지만도 성능 향상이 가능하다는 것을 보여준다.

ABSTRACT

The memory system is a major performance determinant for server processors. Ever-growing core counts and datasets demand higher bandwidth and capacity as well as lower latency from the memory system. To keep up with growing demands, DDR--the dominant processor interface to memory over the past two decades--has offered higher bandwidth with every generation. However, because each parallel DDR interface requires a large number of on-chip pins, the processor's memory bandwidth is ultimately restrained by its pin-count, which is a scarce resource. With limited bandwidth, multiple memory requests typically contend for each memory channel, resulting in significant queuing delays that often overshadow DRAM's service time and degrade performance. We present CoaXiaL, a server design that overcomes memory bandwidth limitations by replacing extit{all} DDR interfaces to the processor with the more pin-efficient CXL interface. The widespread adoption and industrial momentum of CXL makes such a transition possible, offering $4 imes$ higher bandwidth per pin compared to DDR at a modest latency overhead. We demonstrate that, for a broad range of workloads, CXL's latency premium is more than offset by its higher bandwidth. As CoaXiaL distributes memory requests across more channels, it drastically reduces queuing delays and thereby both the average value and variance of memory access latency. Our evaluation with a variety of workloads shows that CoaXiaL improves the performance of manycore throughput-oriented servers by $1.52 imes$ on average and by up to $3 imes$.

연구 동기 및 목표

• 현대의 멀티코어 서버에서 DDR의 핀 제한된 메모리 대역폭으로 인한 성능 저하 문제를 해결하기 위해.
• CXL이 더 높은 비-loaded 지연 시간에도 불구하고 서버 프로세서에서 DDR의 완전한 대체 수단이 될 수 있는지 조사하기 위해.
• 부하가 많은 메모리 시스템에서 CXL의 높은 병렬성으로 인한 대기 시간 감소가 지연 오버헤드를 상쇄함을 보여주기 위해.
• 메모리 시스템을 CXL 중심으로 재고함으로써 확장 가능하고 고성능 서버 아키텍처를 가능하게 하기 위해.

제안 방법

• 모든 프로세서 DDR 인터페이스를 CXL 인터페이스로 대체하여 핀당 가용 메모리 대역폭을 증가시킨다.
• CXL의 직렬형 PCIe 기반 인터페이스를 활용하여 기존 병렬 DDR 대비 핀당 대역폭을 4배로 향상시킨다.
• CXL를 사용해 메모리 요청을 4배 더 많은 메모리 채널에 분산시켜 경쟁과 대기 시간을 감소시킨다.
• 실제 CXL 지연 시간과 대역폭 특성을 반영한 현실적인 조건에서 다양한 워크로드를 대상으로 COAXIAL을 평가하기 위해 포괄적 시스템 시뮬레이터를 사용한다.
• 대기 시간과 서비스 시간의 함수로 메모리 액세스 지연 시간을 모델링하여, 대기 시간 감소가 성능 향상의 주요 원인임을 입증한다.
• 높은 부하 상황에서 더 높은 비-loaded 지연 시간과 낮아진 효율적 지연 시간 간의 성능 트레이드오프를 분석한다.

실험 결과

연구 질문

• RQ1 CXL의 더 높은 비-loaded 메모리 액세스 지연 시간에도 불구하고, CXL이 서버 프로세서의 주요 메모리 인터페이스로 DDR를 대체할 수 있는가?
• RQ2 CXL의 높은 핀당 대역폭이 멀티코어 서버 워크로드에서 메모리 대기 시간을 얼마나 줄이는가?
• RQ3 증가한 채널 병렬성으로 인한 대기 시간 감소가 실제 워크로드에서 CXL의 지연 오버헤드를 상쇄하는가?
• RQ4 메모리 집약적 워크로드 하에서 CXL 중심 메모리 시스템의 성능은 전통적인 DDR 기반 시스템과 비교해 어떻게 되는가?
• RQ5 CXL의 높은 대역폭과 증가한 채널 수가 평균 및 메모리 액세스 지연 시간의 변동성에 미치는 성능 영향은 무엇인가?

주요 결과

• COAXIAL은 다양한 메모리 집약적 워크로드에서 평균 성능을 1.52배 향상시켰다.
• COAXIAL이 특정 워크로드에서 도달한 최대 성능 향상 비율은 3배였다.
• 25–30ns의 지연 시간 오버헤드가 존재하지만, CXL의 높은 대역폭 덕분에 대기 시간 감소로 인해 효율적 메모리 액세스 지연 시간이 감소했다.
• 감소한 대기 시간은 평균 메모리 액세스 지연 시간 감소와 변동성 감소로 이어져 예측 가능성과 성능 향상에 기여했다.
• DDR의 핀 제한된 대역폭이 주요 버팀목이 되는 고메모리 경쟁 워크로드에서 성능 향상이 가장 두드러졌다.
• CXL의 핀당 대역폭 우수성 덕분에 핀 수를 늘리지 않고도 가용 메모리 대역폭을 4배로 증가시킬 수 있었다.