[論文レビュー] Application-Driven Near-Data Processing for Similarity Search

Vincent T. Lee, Amrita Mazumdar+4 more|arXiv (Cornell University)|Jun 12, 2016

Advanced Image and Video Retrieval Techniques参考文献 87被引用数 4

ひとこと要約

本稿では、ハイブリッドメモリキューブ（HMC）と統合されたニアデータ処理アクセラレータであるSSAMを提案する。SSAMは、メモリ内でのk近傍法（kNN）計算を実行することで類似度検索を実現する。処理ユニットをDRAMと同一位置に配置し、データ並列な距離計算およびtop-kソーティングを最適化することで、SSAMはCPU、GPU、FPGAと比較して、面積正規化されたスループットおよびエネルギー効率が最大100倍向上する。また、効率的なkNNインデックス構築が可能であり、大容量のコンテンツアドレスラブルメモリとしても機能する。

ABSTRACT

Similarity search is a key to a variety of applications including content-based search for images and video, recommendation systems, data deduplication, natural language processing, computer vision, databases, computational biology, and computer graphics. At its core, similarity search manifests as k-nearest neighbors (kNN), a computationally simple primitive consisting of highly parallel distance calculations and a global top-k sort. However, kNN is poorly supported by today's architectures because of its high memory bandwidth requirements. This paper proposes an application-driven near-data processing accelerator for similarity search: the Similarity Search Associative Memory (SSAM). By instantiating compute units close to memory, SSAM benefits from the higher memory bandwidth and density exposed by emerging memory technologies. We evaluate the SSAM design down to layout on top of the Micron hybrid memory cube (HMC), and show that SSAM can achieve up to two orders of magnitude area-normalized throughput and energy efficiency improvement over multicore CPUs; we also show SSAM is faster and more energy efficient than competing GPUs and FPGAs. Finally, we show that SSAM is also useful for other data intensive tasks like kNN index construction, and can be generalized to semantically function as a high capacity content addressable memory.

研究の動機と目的

• 類似度検索ワークロードにおけるメモリ帯域幅の増大するボトルネックに対処する。特に大規模なマルチメディアおよびデータ集約的アプリケーションにおいて。
• ニアデータ処理を用いてメモリに計算を近接させることで、kNN検索におけるデータ移動オーバーヘッドを低減する。
• kNNワークロードに特化したアプリケーション駆動型アクセラレータを設計する。3Dスタックドメモリ技術（例：HMC）を活用する。
• 類似度検索および関連タスクにおいて、従来のCPU、GPU、FPGAと比較して顕著な性能およびエネルギー効率の向上を示す。
• このアクセラレータを、データ集約的ワークロード向けの大容量コンテンツアドレスラブルメモリとしての一般化を検討する。

提案手法

• ダイスタックドHMC内に統合されたプログラマブルなベクトルプロセッサベースのアクセラレータを設計し、kNN操作を直接メモリ内で実行する。
• 並列距離計算およびグローバルtop-k選択のためのプライオリティキューをハードウェアでサポートすることで、データ移動を最小限に抑える。
• 類似度検索に特化した命令セット拡張を実装する。例：ベクトル内積演算および比較命令。
• 物理レイアウトまで合成・シミュレーションすることで、正確な性能および面積推定を行う。
• 実世界のkNNワークロードおよびインデキシングタスクを用いて、CPU、GPU、FPGAと比較して設計を評価する。
• HMCのような新規メモリ技術を活用し、高いメモリ帯域幅および密度を実現することで、効率的なメモリ内計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニアデータ処理により、kNN類似度検索におけるデータ移動オーバーヘッドを顕著に低減でき、性能およびエネルギー効率が向上するか？
• RQ2 kNNワークロードに共同最適化されたアプリケーション駆動型アクセラレータ設計は、GPUやFPGAのような汎用アクセラレータと比較してどのように差がつくか？
• RQ3 ベクトルプロセッサを用いたメモリ内処理により、大規模データセットにおけるkNNクエリの遅延およびエネルギーコストはどの程度低減できるか？
• RQ4 同じアクセラレータアーキテクチャを、kNNインデックス構築などの関連するデータ集約的タスクに再利用可能か？
• RQ5 SSAM設計は、kNNを越えた関連検索を可能にする大容量コンテンツアドレスラブルメモリとして機能できるか？

主な発見

• SSAMは、マルチコアCPUと比較して、面積正規化されたスループットが最大2桁向上する。
• SSAMは、類似度検索ワークロードにおいて、マルチコアCPUと比較して最大2桁のエネルギー効率の向上を達成する。
• SSAMは、kNN検索において、GPUおよびFPGAの両方を上回るスループットおよびエネルギー効率を実現する。
• SSAMの設計により、ベクトル処理中のデータ移動を低減することで、効率的なkNNインデックス構築が可能になる。
• SSAMは、kNNを越えた意味的柔軟性を示す大容量コンテンツアドレスラブルメモリとして一般化可能である。
• ハードウェアと命令セット拡張のアプリケーション駆動型共同設計により、kNNの計算パターンに適合したアクセラレータ設計が、顕著な性能向上を実現する。