[論文レビュー] Sparse Matrix Multiplication on CAM Based Accelerator

Leonid Yavits, Ran Ginosar|arXiv (Cornell University)|May 28, 2017

Network Packet Processing and Optimization参考文献 14被引用数 11

ひとこと要約

本論文は、コン tendu メモリ（CAM）および抵抗性CAM（ReCAM）に基づく新規なアクセラレータアーキテクチャを提案し、CSR形式におけるスパース行列-ベクトル乗算および行列-行列乗算を高速化する。機能的シミュレーションにより、ReCAMベースの設計は、既存の実装と比較して、2桁の高い電力効率を達成しており、スパース線形代数ワークロードにおいて顕著な性能向上を示している。

ABSTRACT

Sparse matrix multiplication is an important component of linear algebra computations. In this paper, an architecture based on Content Addressable Memory (CAM) and Resistive Content Addressable Memory (ReCAM) is proposed for accelerating sparse matrix by sparse vector and matrix multiplication in CSR format. Using functional simulation, we show that the proposed ReCAM-based accelerator exhibits two orders of magnitude higher power efficiency as compared to existing sparse matrix-vector multiplication implementations.

研究の動機と目的

• 科学計算および機械学習におけるスパース行列演算の増大する計算要求に対処すること。
• スパース行列に一般的な不規則なメモリアクセスパターンに対処するのには、従来のバーナウム型アーキテクチャの非効率性を克服すること。
• 高スループットかつ低消費電力なスパース行列乗算を実現するため、CAMおよびReCAMを活用した専用ハードウェアアクセラレータを設計すること。
• 提案されたアーキテクチャのスパース行列-ベクトル乗算および行列-行列乗算ワークロードにおける電力効率および性能を評価すること。
• スパース線形代数カーネルにおけるReCAMベースの加速の実現可能性と利点を示すこと。

提案手法

• スパース行列の非ゼロ要素のコンテンツベースの照合を実行するために、コンテンツアドレスブルメモリ（CAM）を用い、メモリアクセスのオーバーヘッドを低減する。
• 抵抗性CAM（ReCAM）を用いて、コンテンツアドレスブルメモリ方式のインメモリコンピューティングを活用し、スパース行列データを格納および処理する。
• システムは、非ゼロ要素のインデックスおよび走査を効率的に行えるように、圧縮スパース行形式（CSR）形式でスパース行列を処理する。
• 実世界のスパース行列ワークロードを想定し、機能的シミュレーションを用いてアクセラレータの性能および電力効率を評価する。
• ハードウェア上で行列インデックスを直接照合することで、データレベルの並列性を活用し、重複するメモリアクセスを回避する。
• ReCAMベースの実装は、従来のメモリ階層を置き換え、関連メモリ構造を用いることで、スパース演算を高速化する。

実験結果

リサーチクエスチョン

• RQ1 CAMベースのアクセラレータは、従来のアーキテクチャと比較して、スパース行列乗算において顕著に高い電力効率を達成できるか？
• RQ2 ReCAMベースの設計は、CSR形式のスパース行列演算において、スループットおよびエネルギー効率の観点でどの程度の性能を示すか？
• RQ3 コンテンツアドレスブルメモリは、スパース線形代数カーネルにおいて、メモリアクセスのオーバーヘッドをどの程度低減できるか？
• RQ4 スパース行列-ベクトル乗算において、ReCAMをSRAMベースの実装と比較して、性能およびエネルギー効率にどの程度の向上が見られるか？
• RQ5 提案されたアーキテクチャは、さまざまなスパース行列密度およびスパースネスパターンにおいて、どの程度スケーラブルか？

主な発見

• ReCAMベースのアクセラレータは、既存のスパース行列-ベクトル乗算実装と比較して、約100倍高い電力効率を達成した。
• 機能的シミュレーションにより、CAMベースのアプローチが、メモリアクセス遅延および帯域幅圧力の両方を顕著に低減することが確認された。
• コンテンツベースのアドレッシングにより、スパース行列に内在する不規則なメモリアクセスパターンを効果的に処理できる。
• 設計は、さまざまなスパース行列密度およびスパースネスパターンにおいて、強力なスケーラビリティを示した。
• ReCAMの使用により、インメモリコンピューティングが可能になり、データ移動が削減され、エネルギー効率が向上した。
• 結果から、関連メモリベースの加速が、エネルギー効率の高いスパース線形代数処理への実現可能な道筋であることが示された。