[논문 리뷰] NCAM: Near-Data Processing for Nearest Neighbor Search

Vincent T. Lee, Carlo C. Del Mundo외 4명|arXiv (Cornell University)|2016. 06. 12.

Network Packet Processing and Optimization인용 수 4

한 줄 요약

이 논문은 3D 적층 메모리를 사용하여 메모리 내에서 정확한 k-가까운 이웃(kNN) 검색을 수행하는 near-data processing 아키텍처인 NCAM을 제안한다. 이는 비용이 많이 드는 데이터 이동을 제거한다. 처리-메모리(PIM) 기술과 새로운 메모리 기술을 활용함으로써, NCAM은 서버 워크로드에서 NVIDIA Titan X GPU보다 최대 160배 높은 웨트당 처리량과 세 배의 정도 낮은 지연 시간을 달성한다.

ABSTRACT

Deep down in many applications like natural language processing (NLP), vision, and robotics is a form of the k-nearest neighbor search algorithm (kNN). The kNN algorithm is primarily bottlenecked by data movement, limiting throughput and incurring latency in these applications. While there do exist well bounded kNN approximations that improve the performance of kNN, these algorithms trade-off accuracy and quickly degrade into linear search for high dimensionality. To address data movement, we designed the nearest neighbor content addressable memory (NCAM) which employs processing in-memory (PIM) to eliminate costly data transfers, and provides exact nearest neighbor search. NCAMs benefit from the modularity offered by 3D die-stacking technology which allows us to side-step the issues of direct integration with DRAM dies. The NCAM benefits from the higher density and speeds of emerging memory technologies and interfaces. We characterize a state-of-the-art software kNN implementation and expose the shortcomings of approximate kNN search. We present a full NCAM design and estimate its performance using post-placement and route estimates, and we show that its power characteristics are compatible with emerging memory substrates. We then evaluate energy efficiency and latency compared to modern multi-core CPUs and GPGPU platforms using parameters typical of mobile and server workloads. Our simulation results show that the NCAM can achieve up to 160x throughput per watt and three orders of magnitude latency improvement over a NVIDIA Titan X GPU for server workloads, and ~2413x throughput per watt and ~94.5x latency improvements over a multi-core Intel E5-2620 CPU. Finally, we show that the NCAM is not limited to just kNN and can be generalized to act as a content addressable memory (CAM) or ternary-CAM (TCAM).

연구 동기 및 목표

• NLP, 시각, 로봇 공학과 같은 현대 애플리케이션에서 과도한 데이터 이동으로 인한 kNN 검색의 성능 저하 문제를 해결한다.
• 고차원 공간에서 정확도를 희생하면서 선형 검색으로 악화되는 근사 kNN 방법의 한계를 극복한다.
• 3D 다이 스택킹과 처리-메모리(PIM) 기술을 활용해 정확한 근접 이웃 검색을 위한 확장성 있고 에너지 효율적인 솔루션을 설계한다.
• NCAM이 kNN 워크로드에서 최신 CPU와 GPU보다 에너지 효율성과 지연 시간 면에서 뛰어나다는 것을 입증한다.
• NCAM을 kNN을 넘어서 콘텐츠 기반 주소 지정 메모리(CAM) 또는 삼항-CAM(TCAM)으로 일반화하여 더 넓은 메모리 내 컴퓨팅 응용 분야에 활용할 수 있도록 한다.

제안 방법

• 데이터 이동을 최소화하기 위해 다이 스택킹을 활용해 DRAM과 처리 논리를 통합한 3D 적층 NCAM 아키텍처를 설계한다.
• 메모리 내 계산을 구현하여 거리 계산을 메모리 내에서 직접 수행함으로써 외부 메모리 전송을 방지한다.
• 신규 메모리 기술과 인터페이스를 활용해 더 높은 밀도와 대역폭를 확보함으로써 효율적인 kNN 계산을 가능하게 한다.
• 실제 기판과의 호환성을 확보하기 위해 물리적 설계와 성능을 모델링하기 위해 후기 배치 및 루팅 추정을 사용한다.
• DRAM 다이에 직접 통합하지 않고 모듈식 설계를 통해 기존 메모리 서브시스템과 NCAM을 통합한다.
• 일반적인 CAM 및 TCAM 동작을 지원하도록 NCAM의 기능을 확장하여 콘텐츠 기반 데이터 검색 응용 분야에 널리 활용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 near-data 처리 아키텍처가 현대 CPU와 GPU보다 훨씬 낮은 지연 시간과 더 높은 에너지 효율성으로 정확한 kNN 검색을 달성할 수 있는가?
• RQ2 NCAM의 성능는 최신 소프트웨어 기반 kNN 구현과 비교해 일반적인 모바일 및 서버 워크로드에서 어떻게 스케일링되는가?
• RQ3 근사 kNN 방법은 고차원 공간에서 얼마나 악화되는가? 그리고 NCAM은 이러한 성능-정확도 트레이드오프를 제거할 수 있는가?
• RQ4 NCAM 설계는 전력 소비와 물리적 통합 측면에서 신뢰할 수 있는 신규 메모리 기반 기술과 호환되는가?
• RQ5 NCAM은 kNN을 넘어서 일반적인 콘텐츠 기반 주소 지정 메모리(CAM) 또는 삼항-CAM(TCAM)으로 일반화될 수 있는가?

주요 결과

• 서버 워크로드에서 NCAM은 NVIDIA Titan X GPU보다 최대 160배 높은 웨트당 처리량을 달성하여 뛰어난 에너지 효율성을 입증한다.
• 서버 워크로드에서 NCAM은 NVIDIA Titan X GPU보다 지연 시간을 세 배 정도 낮춘다(1000배 감소).
• 다중 코어 CPU의 경우, NCAM은 Intel E5-2620 CPU보다 약 2413배 높은 웨트당 처리량과 94.5배 낮은 지연 시간을 제공한다.
• 성능 향상 요인은 메모리 내 처리를 통해 데이터 이동을 제거함으로써 정확도 손실 없이 정확한 kNN 검색이 가능해졌기 때문이다.
• NCAM의 설계는 신규 메모리 기반 기술과 호환되며, 3D 다이 스택킹 기술을 통해 모듈식 통합을 지원한다.
• NCAM은 kNN을 넘어서 CAM 또는 TCAM으로 기능할 수 있어, 콘텐츠 기반 메모리 액세스 응용 분야로의 적용 범위를 넓힐 수 있다.