[论文解读] The Landscape of Compute-near-memory and Compute-in-memory: A Research and Commercial Overview

Asif Ali Khan, João Paulo C. de Lima+2 more|arXiv (Cornell University)|Jan 24, 2024

Advanced Data Storage Technologies被引用 8

一句话总结

本综述回顾 CNM 与 CIM 架构、技术以及不断演变的商业格局，讨论其优点、挑战与市场趋势。

ABSTRACT

In today's data-centric world, where data fuels numerous application domains, with machine learning at the forefront, handling the enormous volume of data efficiently in terms of time and energy presents a formidable challenge. Conventional computing systems and accelerators are continually being pushed to their limits to stay competitive. In this context, computing near-memory (CNM) and computing-in-memory (CIM) have emerged as potentially game-changing paradigms. This survey introduces the basics of CNM and CIM architectures, including their underlying technologies and working principles. We focus particularly on CIM and CNM architectures that have either been prototyped or commercialized. While surveying the evolving CIM and CNM landscape in academia and industry, we discuss the potential benefits in terms of performance, energy, and cost, along with the challenges associated with these cutting-edge computing paradigms.

研究动机与目标

• 澄清 CNM 与 CIM 术语与概念，并与冯·诺依曼计算进行对比。
• 调查存储器技术（SRAM、DRAM、PCM、RRAM、MRAM、FeFET）及其对 CIM/CNM 的适用性。
• 呈现具代表性的 CNM 与 CIM 架构（学术与商业）。
• 分析商业格局、市场规模以及 CIM/CNM 初创公司的资金动态。
• 识别实现实际采用和生态系统发展中的关键挑战与障碍。

提出的方法

• 提供 CNM 与 CIM 的基础定义并对系统架构进行分类（CIM-A、CIM-P、CNM 等）。
• 回顾存储器技术及其物理特性、性能、能耗与可靠性在 CIM/CNM 中的权衡。
• 调查选定的架构（UPMEM、McDRAM、MViD、Samsung PIM-HBM）及其可编程性和集成模型。
• 综合商业格局、市场价值、增长预测以及 CIM/CNM 初创公司的资金活动。
• 讨论诸如可编程性、可靠性与工具链等挑战，并提出未来方向。

Figure 1 . (a) Conventional computing system where an operation $f$ is performed on data $D$ in the CPU (b) Memory-centric design where $f$ is computed in the proximity of $D$ and CPU is mainly working as a control unit 17 .

实验结果

研究问题

• RQ1 哪些是核心的 CNM 与 CIM 架构及其工作原理？
• RQ2 哪些存储技术能实现 CIM/CNM，以及它们在 ML 工作负载中的权衡？
• RQ3 当前 CIM/CNM 的商业生态如何，包括参与者、产品与资金？
• RQ4 阻碍广泛采用的障碍是什么，需要哪些工具或生态系统的进步？

主要发现

• CNM 与 CIM 旨在通过在内存附近或内存中进行计算来减少数据移动，存在多种架构实现（A/CIM-P、CIM-A、CNM）。
• 2022 年在/近内存计算市场价值为 155 亿美元，未来十年的年复合增长率预计为 17.5%。
• 类似点积的模拟内存操作使 ML 高效，而不同存储技术提供不同的性能、耐久性与能耗特性。
• SRAM 目前主导商业 CNM/CIM 解决方案，但非易失性内存（PCM、RRAM、MRAM、FeFET）预计在设计成熟后补充或取代 SRAM。
• 值得注意的 CNM 架构包括 UPMEM、McDRAM、MViD，以及三星的 PIM-HBM（FIMDRAM），展示从通用处理单元到固定功能加速器的谱系。
• 一个主要的采用障碍是缺乏强大的软件生态系统，给可编程性、建模、分析与优化带来挑战。

Figure 2 . High-level overview of systems where computation is performed a) COM (mainstream computing): outside of memory system, b) CNM : using a logic connected to the memory via the memory high-bandwidth channel, c) CIM-P : in the memory peripheral circuitry, and d) CIM-A : using memory cells wit