[論文レビュー] The Processing Using Memory Paradigm:In-DRAM Bulk Copy, Initialization, Bitwise AND and OR

Vivek Seshadri, Onur Mutlu|arXiv (Cornell University)|Oct 30, 2016

Parallel Computing and Optimization Techniques参考文献 74被引用数 17

ひとこと要約

本稿では、センスアンプやビットラインといった既存のDRAM構造を活用することで、大容量のコピーおよび初期化を実行するためのRowClone、およびビット単位の論理演算を実行するためのIn-DRAM AND/OR (IDAO)の2つのDRAM内処理技術を提案する。両手法とも、外部メモリへのデータ移動を排除することで、メモリ集約的ワークロードにおいて性能とエネルギー効率を10倍以上向上させる。

ABSTRACT

In existing systems, the off-chip memory interface allows the memory controller to perform only read or write operations. Therefore, to perform any operation, the processor must first read the source data and then write the result back to memory after performing the operation. This approach consumes high latency, bandwidth, and energy for operations that work on a large amount of data. Several works have proposed techniques to process data near memory by adding a small amount of compute logic closer to the main memory chips. In this article, we describe two techniques proposed by recent works that take this approach of processing in memory further by exploiting the underlying operation of the main memory technology to perform more complex tasks. First, we describe RowClone, a mechanism that exploits DRAM technology to perform bulk copy and initialization operations completely inside main memory. We then describe a complementary work that uses DRAM to perform bulk bitwise AND and OR operations inside main memory. These two techniques significantly improve the performance and energy efficiency of the respective operations.

研究の動機と目的

• メモリ集約的ワークロードにおけるデータ移動の遅延とエネルギー消費を、DRAM内部で直接処理を実行することによって低減すること。
• 追加の論理回路を追加するのではなく、既存のDRAM周辺回路構造を活用することで、メモリ内処理能力を拡張するコスト効果の高い方法を検討すること。
• 大容量コピーおよびビット単位のAND/OR演算といった複雑な処理が、最小限のハードウェア変更でDRAM内部で効率的に実行可能であることを示すこと。
• 実世界の応用例（範囲照合やビットマップインデックスなど）を対象に、これらのDRAM内処理機構の性能およびエネルギー効率の向上を評価すること。

提案手法

• RowCloneは、DRAMの内部バスおよびセンスアンプを活用して、外部メモリへのデータ転送なしに大容量データのコピーおよび初期化を実行し、PSM（擬似静的メモリ）動作を活用する。
• RowCloneは、同じバンク内のサブアレイ間でのデータ移動を2回のPSM操作で実現し、従来のメモリアクセスと比較してエネルギーと遅延を低減する。
• IDAOは、DRAMセンスアンプのアナログ感度機能を活用して、複数のビットライン電圧を同時に検出し、大規模なビットベクトルに対して並列に論理ANDおよびOR演算を実行する。
• IDAOは3つの行を同時にアクティベートし、感度された電圧の重ね合わせを利用して論理演算を直接メモリ内で計算し、プロセッサへのデータ移動を回避する。
• これらのメカニズムは、既存のDRAMアーキテクチャへの最小限の変更に依存しており、ビットラインやセンスアンプといった既存の周辺回路構造に依存する。
• 評価では、1または4バンクを想定した保守的および能動的な設定を用いて、異なる遅延および帯域幅制約下での性能のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 外部メモリへのデータ移動なしに、DRAM内部での大容量コピーおよび初期化処理を実行できるか？
• RQ2 既存のハードウェア構造を活用して、大規模なビットベクトルに対するビット単位のANDおよびOR演算をDRAM内で効率的に計算できるか？
• RQ3 これらの処理をDRAM内で実行することで、従来の外部処理と比較して、性能およびエネルギー効率がどの程度向上するか？
• RQ4 異なる設定（例：バンク数、アクティベート戦略）が、DRAM内処理の性能にどのように影響を与えるか？

主な発見

• RowCloneは、外部メモリへのデータ移動を完全に排除することで、メモリチャネルの転送を省略し、遅延とエネルギー消費を低減する。
• IDAOは、同時並列の行アクティベートとアナログ感度機能を活用して、DRAM内部で大容量のビット単位AND/OR演算を直接実行し、10倍以上の性能向上を達成する。
• 4バンクを用いた能動的なIDAO設定では、ベースラインシステムと比較して平均30％の範囲照合性能向上を達成する。
• 3行同時アクティベートによる2倍の遅延ペナルティが発生しても、1バンクの保守的IDAO機構は依然として18％の性能向上を達成する。
• RowCloneおよびIDAOの両方とも、外部メモリ帯域幅の使用量を顕著に削減するため、ビットマップインデックスやシステムレベルのメモリ管理といったデータ集約的アプリケーションにおいて非常に効果的である。
• これらの技術は、既存のDRAMアーキテクチャへの最小限の変更で実現可能であり、すでに存在する周辺部品を活用するため、コスト効果的かつスケーラブルである。