[論文レビュー] NCAM: Near-Data Processing for Nearest Neighbor Search

Vincent T. Lee, Carlo C. Del Mundo+4 more|arXiv (Cornell University)|Jun 12, 2016

Network Packet Processing and Optimization被引用数 4

ひとこと要約

本稿では、3次元スタックドメモリを用いてメモリ内ですべてのデータ移動を回避する、正確なk近傍（kNN）検索を実行する近接データ処理アーキテクチャNCAMを提案する。処理内メモリ（PIM）および新興メモリ技術を活用することで、サーバワークロードにおいてNVIDIA Titan X GPUに比べて最大160倍の単位消費電力当たりスループットを達成し、3桁の遅延低減を実現した。

ABSTRACT

Deep down in many applications like natural language processing (NLP), vision, and robotics is a form of the k-nearest neighbor search algorithm (kNN). The kNN algorithm is primarily bottlenecked by data movement, limiting throughput and incurring latency in these applications. While there do exist well bounded kNN approximations that improve the performance of kNN, these algorithms trade-off accuracy and quickly degrade into linear search for high dimensionality. To address data movement, we designed the nearest neighbor content addressable memory (NCAM) which employs processing in-memory (PIM) to eliminate costly data transfers, and provides exact nearest neighbor search. NCAMs benefit from the modularity offered by 3D die-stacking technology which allows us to side-step the issues of direct integration with DRAM dies. The NCAM benefits from the higher density and speeds of emerging memory technologies and interfaces. We characterize a state-of-the-art software kNN implementation and expose the shortcomings of approximate kNN search. We present a full NCAM design and estimate its performance using post-placement and route estimates, and we show that its power characteristics are compatible with emerging memory substrates. We then evaluate energy efficiency and latency compared to modern multi-core CPUs and GPGPU platforms using parameters typical of mobile and server workloads. Our simulation results show that the NCAM can achieve up to 160x throughput per watt and three orders of magnitude latency improvement over a NVIDIA Titan X GPU for server workloads, and ~2413x throughput per watt and ~94.5x latency improvements over a multi-core Intel E5-2620 CPU. Finally, we show that the NCAM is not limited to just kNN and can be generalized to act as a content addressable memory (CAM) or ternary-CAM (TCAM).

研究の動機と目的

• 自然言語処理、ビジョン、ロボット分野など、現代のアプリケーションで生じる過剰なデータ移動が原因で発生するkNN検索の性能ボトルネックを解消すること。
• 高次元空間において近似kNN手法が線形探索に劣化し、正確性を損なうという問題を克服すること。
• 3次元ダイスタックと処理内メモリ（PIM）技術を活用して、正確な近隣検索をスケーラブルかつエネルギー効率よく実現するソリューションを設計すること。
• NCAMがkNNワークロードにおいて、最先端のCPUおよびGPUを上回るエネルギー効率と遅延性能を示すことを実証すること。
• NCAMをkNNにとどまらず、コンテンツアドレスブルメモリ（CAM）や3値CAM（TCAM）として一般化し、より広範なメモリ内コンputing応用に応用可能とする。

提案手法

• データ移動を最小限に抑えるために、ダイスタック技術を用いて処理論理とDRAMを統合した3次元スタックドNCAMアーキテクチャを設計する。
• メモリ内での計算を実装し、距離計算を直接メモリ内で実行することで、外部メモリへのデータ転送を回避する。
• 新興メモリ技術およびインターフェースを活用して、高密度および高帯域幅を実現し、効率的なkNN計算を可能にする。
• 物理的設計およびNCAMの性能をモデル化するため、配置後およびルーティング推定を用いる。
• DRAMダイへの直接統合を避けるために、モジュラー設計によりNCAMを既存のメモリサブシステムと統合する。
• 一般用途のCAMおよびTCAM操作をサポートするようにNCAMの機能を拡張し、コンテンツベースのデータ検索における幅広い応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 近接データ処理アーキテクチャは、現代のCPUおよびGPUに比べて、はるかに低い遅延と高いエネルギー効率で正確なkNN検索を達成できるか？
• RQ2 NCAMの性能は、最先端のソフトウェアkNN実装と比較して、典型的なモバイルおよびサーバワークロードにおいてどのようにスケーリングするか？
• RQ3 近似kNN手法は高次元空間においてどの程度劣化するのか？また、NCAMはこのトレードオフを解消できるか？
• RQ4 NCAMの設計は、電力および物理的統合面で新興メモリ基板と互換性を持つのか？
• RQ5 NCAMはkNNを越えて、一般用途のコンテンツアドレスブルメモリ（CAM）や3値CAM（TCAM）として一般化できるか？

主な発見

• サーバワークロードにおいて、NCAMはNVIDIA Titan X GPUに比べて最大160倍の単位消費電力当たりスループットを達成し、優れたエネルギー効率を示した。
• サーバワークロードにおいて、NCAMはNVIDIA Titan X GPUに比べて遅延を3桁（1000倍）低減した。
• マルチコアCPUと比較すると、NCAMはIntel E5-2620 CPUに比べて約2413倍の単位消費電力当たりスループットを達成し、94.5倍の低い遅延を実現した。
• 性能向上の要因は、メモリ内処理によりデータ移動を完全に排除したことにより、正確性を損なわず正確なkNN検索が可能になったことに起因する。
• NCAMの設計は新興メモリ基板と互換性があり、3次元ダイスタック技術を用いたモジュラー統合をサポートしている。
• NCAMはCAMやTCAMとして一般化可能であり、kNNにとどまらずコンテンツベースのメモリアクセス応用への応用範囲を拡大できる。