[논문 리뷰] The Landscape of Compute-near-memory and Compute-in-memory: A Research and Commercial Overview

Asif Ali Khan, João Paulo C. de Lima외 2명|arXiv (Cornell University)|2024. 01. 24.

Advanced Data Storage Technologies인용 수 8

한 줄 요약

이 설문은 CNM 및 CIM 아키텍처, 기술, 그리고 진화하는 상업적 환경을 검토하며 이점, 도전 과제 및 시장 동향을 논의합니다.

ABSTRACT

In today's data-centric world, where data fuels numerous application domains, with machine learning at the forefront, handling the enormous volume of data efficiently in terms of time and energy presents a formidable challenge. Conventional computing systems and accelerators are continually being pushed to their limits to stay competitive. In this context, computing near-memory (CNM) and computing-in-memory (CIM) have emerged as potentially game-changing paradigms. This survey introduces the basics of CNM and CIM architectures, including their underlying technologies and working principles. We focus particularly on CIM and CNM architectures that have either been prototyped or commercialized. While surveying the evolving CIM and CNM landscape in academia and industry, we discuss the potential benefits in terms of performance, energy, and cost, along with the challenges associated with these cutting-edge computing paradigms.

연구 동기 및 목표

• CNM 및 CIM 용어 및 개념을 명확히 하고 Von Neumann 컴퓨팅과 대비한다.
• 메모리 기술(SRAM, DRAM, PCM, RRAM, MRAM, FeFET) 및 CIM/CNM에 대한 적합성을 조사한다.
• 대표적인 CNM 및 CIM 아키텍처(학술적 및 상업적)를 제시한다.
• CIM/CNM 스타트업의 상업적 환경, 시장 규모 및 자금 조달 역학을 분석한다.
• 실용적 채택 및 생태계 개발에 대한 핵심 과제와 장벽을 식별한다.

제안 방법

• CNM 및 CIM의 기본 정의를 제공하고 시스템 아키텍처를 분류한다(CIM-A, CIM-P, CNM 등).
• 메모리 기술과 물리학, 성능, 에너지 및 신뢰성 트레이드오프를 CIM/CNM에 대해 검토한다.
• 선정된 아키텍처(UPMEM, McDRAM, MViD, Samsung PIM-HBM)과 그들의 프로그래머빌리티 및 통합 모델을 조사한다.
• CIM/CNM 스타트업의 상업적 환경, 시장 가치, 성장 전망 및 자금 조달 활동을 종합한다.
• 프로그래머빌리티, 신뢰성, 도구 등에 대한 도전과제을 논의하고 향후 방향을 제시한다.

Figure 1 . (a) Conventional computing system where an operation $f$ is performed on data $D$ in the CPU (b) Memory-centric design where $f$ is computed in the proximity of $D$ and CPU is mainly working as a control unit 17 .

실험 결과

연구 질문

• RQ1 핵심 CNM 및 CIM 아키텍처와 작동 원리는 무엇인가?
• RQ2 어떤 메모리 기술이 CIM/CNM을 가능하게 하며, ML 워크로드에 대한 트레이드오프는 무엇인가?
• RQ3 현재 CIM/CNM의 상업적 환경은 어느 정도이며, 플레이어, 제품 및 자금 조달을 포함한다.
• RQ4 광범위한 채택을 저해하는 장벽은 무엇이며 필요한 도구나 생태계 발전은 무엇인가?

주요 결과

• CNM 및 CIM은 메모리 가까이 또는 메모리 내에서 계산함으로써 데이터 이동을 줄이는 것을 목표로 하며, 다양한 아키텍처 구현(A/CIM-P, CIM-A, CNM)이 있다.
• 메모리 내/근처 컴퓨팅 시장은 2022년에 155억 달러로 평가되었으며, 향후 10년간 연평균 성장률(CAGR)이 17.5%로 예상된다.
• 도트 곱과 같은 아날로그 인-메모리 연산은 ML을 효율적으로 가능하게 하는 반면, 다양한 메모리 기술은 성능, 내구성 및 에너지 프로파일이 다르다.
• SRAM은 현재 상업적 CNM/CIM 솔루션을 지배하고 있지만, 비휘발성 메모리(PCM, RRAM, MRAM, FeFET)는 설계가 성숙해지면서 SRAM을 보완하거나 대체할 것으로 예상된다.
• 주목할 만한 CNM 아키텍처로는 UPMEM, McDRAM, MViD, 그리고 삼성의 PIM-HBM(FIMDRAM)이 있으며, 범용 PU에서 고정 기능 가속기로의 스펙트럼을 보여준다.
• 주요 채택상의 도전과제는 강력한 소프트웨어 생태계의 부재로, 프로그래머빌리티, 모델링, 프로파일링, 최적화를 복잡하게 만든다.

Figure 2 . High-level overview of systems where computation is performed a) COM (mainstream computing): outside of memory system, b) CNM : using a logic connected to the memory via the memory high-bandwidth channel, c) CIM-P : in the memory peripheral circuitry, and d) CIM-A : using memory cells wit