[論文レビュー] The Landscape of Compute-near-memory and Compute-in-memory: A Research and Commercial Overview

Asif Ali Khan, João Paulo C. de Lima+2 more|arXiv (Cornell University)|Jan 24, 2024

Advanced Data Storage Technologies被引用数 8

ひとこと要約

この調査は CNM および CIM のアーキテクチャ、技術、進化する商業環境をレビューし、利点・課題・市場動向について論じる。

ABSTRACT

In today's data-centric world, where data fuels numerous application domains, with machine learning at the forefront, handling the enormous volume of data efficiently in terms of time and energy presents a formidable challenge. Conventional computing systems and accelerators are continually being pushed to their limits to stay competitive. In this context, computing near-memory (CNM) and computing-in-memory (CIM) have emerged as potentially game-changing paradigms. This survey introduces the basics of CNM and CIM architectures, including their underlying technologies and working principles. We focus particularly on CIM and CNM architectures that have either been prototyped or commercialized. While surveying the evolving CIM and CNM landscape in academia and industry, we discuss the potential benefits in terms of performance, energy, and cost, along with the challenges associated with these cutting-edge computing paradigms.

研究の動機と目的

• CNM および CIM の用語と概念を明確化し、フォン・ノイマン型計算と対比させる。
• メモリ技術（SRAM、DRAM、PCM、RRAM、MRAM、FeFET）とそれらの CIM/CNM への適合性を調査する。
• 代表的な CNM および CIM アーキテクチャを提示する（学術的および商業的）。
• CIM/CNM スタートアップの商業環境、市場規模、資金動向を分析する。
• 実用的な採用とエコシステムの発展を妨げる主要な課題と障壁を特定する。

提案手法

• CNM および CIM の基礎定義を提供し、システムアーキテクチャを分類する（CIM-A、CIM-P、CNM など）。
• CIM/CNM の物理、性能、エネルギー、信頼性のトレードオフを含むメモリ技術をレビューする。
• 選定されたアーキテクチャ（UPMEM、McDRAM、MViD、Samsung PIM-HBM）とそれらのプログラマビリティおよび統合モデルを調査する。
• CIM/CNM スタートアップの商業環境、市場規模、成長予測、資金動向を総合する。
• プログラマビリティ、信頼性、ツールなどの課題を論じ、今後の方向性を提案する。

Figure 1 . (a) Conventional computing system where an operation $f$ is performed on data $D$ in the CPU (b) Memory-centric design where $f$ is computed in the proximity of $D$ and CPU is mainly working as a control unit 17 .

実験結果

リサーチクエスチョン

• RQ1 コアとなる CNM および CIM アーキテクチャとその動作原理は何か。
• RQ2 どのメモリ技術が CIM/CNM を可能にし、ML ワークロードに対するトレードオフは何か。
• RQ3 現在の CIM/CNM の商業環境はどのようになっているか（プレーヤー、製品、資金調達を含む）。
• RQ4 普及を妨げる障壁は何か、また必要なツールやエコシステムの進展は何か。

主な発見

• CNM および CIM は、メモリ近傍またはメモリ内で計算することによりデータ移動を削減することを目的としており、さまざまなアーキテクチャ実現（A/CIM-P、CIM-A、CNM）を持つ。
• インメモリ/ near-memory computing の市場は 2022 年に 155 億 USD と評価され、今後10年間で年平均成長率 17.5% が見込まれる。
• ドット積のようなアナログ・インメモリ演算は ML の効率を向上させ、異なるメモリ技術は性能、耐久性、エネルギー特性が異なる。
• SRAM は現在商業用 CNM/CIM ソリューションを支配しているが、設計が成熟するにつれて PCM、RRAM、MRAM、FeFET などの不揮発性メモリが SRAM を補完または置換すると見込まれる。
• 注目すべき CNM アーキテクチャには UPMEM、McDRAM、MViD、Samsung の PIM-HBM (FIMDRAM) が含まれ、汎用処理ユニットから固定機能アクセラレータまでのスペクトラムを示している。
• 大きな導入の課題は、堅牢なソフトウェアエコシステムの欠如であり、プログラマビリティ、モデリング、プロファイリング、最適化を難しくしている。

Figure 2 . High-level overview of systems where computation is performed a) COM (mainstream computing): outside of memory system, b) CNM : using a logic connected to the memory via the memory high-bandwidth channel, c) CIM-P : in the memory peripheral circuitry, and d) CIM-A : using memory cells wit