[논문 리뷰] Managed-Retention Memory: A New Class of Memory for the AI Era

Sergey Legtchenko, Ioan Stefanovici외 7명|ArXiv.org|2025. 01. 16.

Ferroelectric and Negative Capacitance Devices인용 수 3

한 줄 요약

이 논문은 AI 추론 워크로드에 최적화된 새로운 메모리 클래스인 Managed-Retention Memory (MRM)를 소개합니다. 장기 데이터 보존을 완화하여 읽기 처리량, 에너지 효율성 및 용량을 향상시키며 HBM과 함께 공존합니다.

ABSTRACT

AI clusters today are one of the major uses of High Bandwidth Memory (HBM). However, HBM is suboptimal for AI workloads for several reasons. Analysis shows HBM is overprovisioned on write performance, but underprovisioned on density and read bandwidth, and also has significant energy per bit overheads. It is also expensive, with lower yield than DRAM due to manufacturing complexity. We propose a new memory class: Managed-Retention Memory (MRM), which is more optimized to store key data structures for AI inference workloads. We believe that MRM may finally provide a path to viability for technologies that were originally proposed to support Storage Class Memory (SCM). These technologies traditionally offered long-term persistence (10+ years) but provided poor IO performance and/or endurance. MRM makes different trade-offs, and by understanding the workload IO patterns, MRM foregoes long-term data retention and write performance for better potential performance on the metrics important for these workloads.

연구 동기 및 목표

• AI 기반 모델 추론 워크로드를 위한 메모리 아키텍처 재고를 촉진한다.
• 기초 모델 메모리 IO 패턴을 특징 짓고 왜 HBM이 최적이 아닌지 설명한다.
• 저장 유지 및 쓰기 성능을 포기하는 대신 더 나은 읽기 처리량, 밀도 및 에너지 효율성을 얻는 새로운 메모리 클래스(MRM)를 제안한다.
• AI 클러스터에서 MRM을 배치하기 위한 소프트웨어 및 하드웨어의 함의를 개략적으로 제시한다.

제안 방법

• 기초 모델 추론 워크로드의 특성(가중치, KV 캐시, 활성화 값)과 메모리 접근 패턴을 정의한다.
• 이 워크로드에 대해 HBM이 과 provisioning되는 이유를 분석하고 전통적인 DRAM/SCM과의 불일치를 식별한다.
• MRM의 개념을 도입하고 트레이드오프를 설명한다(완화된 보존, 더 높은 내구성, 더 나은 읽기 처리량).
• 보존 인식 데이터 배치, 경량 메모리 컨트롤러, 동적 보존 구성 등을 포함한 크로스-레이어 함의를 논의한다.
• 블록 기반 MRM 인터페이스에 적합한 잠재적 오류 수정 전략을 개략한다.

실험 결과

연구 질문

• RQ1 기초 모델 추론 워크로드에 가장 중요한 메모리 특성은 무엇인가?
• RQ2 장기 보존을 완화하는 메모리 클래스가 AI 워크로드의 처리량과 에너지 요구를 HBM/DRAM보다 더 효과적으로 충족시킬 수 있는가?
• RQ3 AI 클러스터에서 MRM을 배치하는 시스템 수준의 함의(OS, 스케줄링, 데이터 배치)는 무엇인가?
• RQ4 MRM 지원 시스템에서 데이터(가중치, KV 캐시, 활성화 값)를 메모리 티어 간에 어떻게 할당하고 새로 고침해야 하는가?
• RQ5 완화된 보존 및 고처리량 메모리인 MRM에 적합한 오류 수정 접근 방식은 무엇인가?

주요 결과

• 기초 모델 추론은 읽기가 지배적이며 대규모이면서 예측 가능한 읽기 패턴과 희소한 쓰기를 특징으로 하여 전통적인 워크로드와 다른 메모리 시스템 요구를 야기한다.
• HBM은 내구성 측면에서 과 provisioning되고 밀도와 읽기 대역폭 측면에서 비최적이며; 추론 데이터에 대해 SCM 유사 보존이 불필요하다.
• MRM은 장기 보존을 포기하고 읽기 처리량, 에너지 효율, 용량을 개선하여 SCM 유사 기술 활용을 가능하게 하며, AI 워크로드의 요구에 부합할 수 있다.
• 하드웨어에서 랙 규모 OS에 이르는 크로스-레이어 메모리 스택이 데이터 수명 주기, 배치 및 새로 고침을 관리하여 MRM의 이점을 실현할 수 있다.
• 데이터 무결성 및 오류 수정은 블록 기반 MRM 인터페이스에 맞춰 조정될 수 있으며, 기존 메모리 ECC를 활용하고 더 큰 코드워드 체계의 기회를 활용한다.