[논문 리뷰] Sparse Matrix Multiplication on CAM Based Accelerator

Leonid Yavits, Ran Ginosar|arXiv (Cornell University)|2017. 05. 28.

Network Packet Processing and Optimization참고 문헌 14인용 수 11

한 줄 요약

이 논문은 희소 행렬-벡터 곱과 희소 행렬-행렬 곱 연산을 CSR 형식에서 가속화하기 위해 콘텐츠 주소 가능 메모리(CAM)와 저항성 CAM(ReCAM) 기반의 새로운 가속기 아키텍처를 제안한다. 기능 시뮬레이션을 통해 ReCAM 기반 설계는 기존 구현 대비 전력 효율성을 약 두 개의 지수 단위 향상시켜, 희소 선형 대수 작업 워크로드에서 뚜렷한 성능 향상을 입증한다.

ABSTRACT

Sparse matrix multiplication is an important component of linear algebra computations. In this paper, an architecture based on Content Addressable Memory (CAM) and Resistive Content Addressable Memory (ReCAM) is proposed for accelerating sparse matrix by sparse vector and matrix multiplication in CSR format. Using functional simulation, we show that the proposed ReCAM-based accelerator exhibits two orders of magnitude higher power efficiency as compared to existing sparse matrix-vector multiplication implementations.

연구 동기 및 목표

• 과학 계산과 머신러닝 분야에서 증가하는 희소 행렬 연산의 계산 요구를 해결하기 위해.
• 전통적인 바르너만 아키텍처가 희소 행렬에서 흔히 발생하는 비정규 메모리 액세스 패턴을 처리하는 데에 비효율적인 점을 극복하기 위해.
• 고성능, 저전력의 희소 행렬 곱셈을 위해 CAM과 ReCAM을 활용한 특화 하드웨어 가속기를 설계하기 위해.
• 희소 행렬-벡터 곱과 희소 행렬-행렬 곱 워크로드에서 제안된 아키텍처의 전력 효율성과 성능을 평가하기 위해.
• 희소 선형 대수 커널에서 ReCAM 기반 가속화의 실현 가능성과 이점을 입증하기 위해.

제안 방법

• 희소 행렬의 비제로 요소를 콘텐츠 기반 검색을 통해 검색함으로써 메모리 액세스 오버헤드를 줄이기 위해 콘텐츠 주소 가능 메모리(CAM)를 사용한다.
• 저항성 CAM(ReCAM)을 사용하여 희소 행렬 데이터를 콘텐츠 기반 주소 방식으로 저장하고 처리함으로써 내부 메모리 계산 방식을 구현한다.
• 시스템은 희소 행렬을 압축된 희소 행 형식(CSR)으로 처리하여 비제로 요소의 효율적 인덱싱과 순회를 가능하게 한다.
• 기능 시뮬레이션을 통해 실제 워크로드 기반의 희소 행렬 워크로드에서 가속기의 성능과 전력 효율성을 평가한다.
• 하드웨어에서 행렬 인덱스를 직접 매칭시킴으로써 데이터 수준의 병렬성과 중복 메모리 액세스를 회피한다.
• ReCAM 기반의 구현은 전통적인 메모리 계층을 연관 메모리 구조로 대체하여 희소 연산을 가속화한다.

실험 결과

연구 질문

• RQ1 CAM 기반 가속기는 기존 아키텍처 대비 희소 행렬 곱셈에서 뚜렷한 전력 효율성 향상을 달성할 수 있는가?
• RQ2 ReCAM 기반 설계는 CSR 형식의 희소 행렬 연산에서 처리량과 에너지 효율성 측면에서 어떻게 성능을 발휘하는가?
• RQ3 콘텐츠 기반 주소 방식의 메모리가 희소 선형 대수 커널에서 메모리 액세스 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 희소 행렬-벡터 곱셈에서 기존 SRAM 기반 구현 대비 ReCAM를 사용할 경우 성능과 에너지 효율성 향상은 어느 정도인가?
• RQ5 제안된 아키텍처는 다양한 희소 행렬 밀도와 희소성 패턴에서 어떻게 스케일링되는가?

주요 결과

• ReCAM 기반 가속기는 기존의 희소 행렬-벡터 곱셈 구현 대비 약 100배 높은 전력 효율성을 달성한다.
• 기능 시뮬레이션을 통해 CAM 기반 접근 방식이 메모리 액세스 지연과 대역폭 압박을 뚜렷이 감소시킨다.
• 콘텐츠 기반 주소 방식을 통해 희소 행렬에 내재된 비정규 메모리 액세스 패턴을 효과적으로 처리한다.
• 다양한 희소 행렬 밀도와 희소성 패턴에서 강력한 스케일링 성능을 보여준다.
• ReCAM의 사용은 내부 메모리 계산을 가능하게 하여 데이터 이동을 줄이고 에너지 효율성을 향상시킨다.
• 결과적으로 연관 메모리 기반 가속화가 에너지 효율적인 희소 선형 대수 처리를 위한 실현 가능한 길임을 시사한다.