[논문 리뷰] The Bitlet Model: Defining a Litmus Test for the Bitwise Processing-in-Memory Paradigm

Kunal Korgaonkar, Ronny Ronen외 2명|arXiv (Cornell University)|2019. 10. 22.

Advanced Memory and Neural Computing참고 문헌 6인용 수 4

한 줄 요약

Bitlet 모델은 처리-메모리(PIM) 워크로드의 성능과 효율성을 통 throughput, 연산 복잡도, 데이터 정렬, 에너지 소비를 모델링하는 파arameterized 분석 프레임워크이다. 이 모델은 PIM이 기존 CPU 계산을 능가할 수 있는지 여부를 판단하기 위한 림푸스 테스트를 정의하며, 이는 특히 전력 제약 조건 하에서 연산 복잡도(OC)가 낮고 데이터 수준 병렬성이 높은 연산에서 PIM이 뛰어난 성능을 발휘함을 드러낸다.

ABSTRACT

This paper describes an analytical modeling tool called Bitlet that can be used, in a parameterized fashion, to understand the affinity of workloads to processing-in-memory (PIM) as opposed to traditional computing. The tool uncovers interesting trade-offs between operation complexity (cycles required to perform an operation through PIM) and other key parameters, such as system memory bandwidth, data transfer size, the extent of data alignment, and effective memory capacity involved in PIM computations. Despite its simplicity, the model has already proven useful. In the future, we intend to extend and refine Bitlet to further increase its utility.

연구 동기 및 목표

• 처리-메모리(PIM) 워크로드의 성능과 효율성을 평가하기 위한 표준화된 분석 도구의 부족을 해결하기 위해.
• 특정 워크로드가 PIM 또는 기존 CPU/GPU 아키텍처에 더 적합한지 판단할 수 있는 림푸스 테스트를 정의하기 위해.
• PIM 시스템에서 연산 복잡도, 데이터 정렬, 메모리 대역폭, 에너지 효율성 간의 상호 상충 관계를 정량화하기 위해.
• 핵심 아키텍처 및 기술적 파라미터에 대한 민감도 분석을 가능하게 하는 파arameterized 모델을 제공하기 위해.

제안 방법

• 메모리스티브 메모리 어레이 내의 NOR 연산 기반으로 행 단위, 비트 시리얼 처리 모델을 사용하여 PIM 통 throughput을 모델링한다.
• 연산 복잡도(OC), 메모리 어레이 수(MAT), 행 수(ROW), 사이클 시간(CT)을 고려한 파arameterized 통 throughput 방정식(식 1)을 도입한다.
• 정렬되지 않은 경우 발생하는 수평적 및 수직적 데이터 이동을 모델링하기 위해 배치 및 정렬 비용(PAC)을 성능 저하 요소로 통합한다.
• 메모리 대역폭(BW), 데이터 병렬성(DIO), 연산 복잡도(OC)를 기반으로 한 CPU 통 throughput 모델을 정의하여 직접 비교를 가능하게 한다.
• 기본 논리 연산에 대해 특히 중요한 에너지 효율성 지표(E^PIM 및 E^CPU)를 사용하여 PIM과 CPU의 단위 연산 당 에너지 소비를 비교한다.
• 실제 시스템 수준의 에너지 예산을 모델링하기 위해 활성 메모리 어레이 수(MATs)를 제한하는 전력 제약 조건을 적용한다.

실험 결과

연구 질문

• RQ1 PIM이 통 throughput과 에너지 효율성 측면에서 기존 CPU 아키텍처를 능가하는 조건은 무엇인가?
• RQ2 연산 복잡도(OC), 데이터 정렬(PAC), 메모리 대역폭(BW)이 PIM와 CPU 간의 성능 상충 관계에 미치는 영향은 어떠한가?
• RQ3 PIM이 CPU를 능가하지 못하게 되는 교차점(crossover point)은 무엇이며, 이는 MAT 및 DIO와 같은 시스템 파라미터에 따라 어떻게 변화하는가?
• RQ4 비영제로인 배치 및 정렬 비용(PAC)은 PIM의 실질적 통 throughput과 에너지 효율성에 어떤 영향을 미치는가?
• RQ5 에너지 효율성이 얼마나 낮은 복잡도의 연산에서 PIM에 유리한가? 이 유리함은 OC가 증가함에 따라 어떻게 감소하는가?

주요 결과

• 16비트 덧셈(OC = 144)과 같이 연산 복잡도가 낮은 연산에서는 최적의 데이터 정렬(PAC = 0) 조건에서 PIM이 CPU를 능가한다.
• PAC = 1040인 16비트 덧셈의 경우, PIM의 통 throughput은 728 GOPS에서 88 GOPS로 감소(원래 대비 12%)하여 정렬 오버헤드로 인한 심각한 성능 저하가 발생한다.
• DIO가 24비트에서 48비트로 증가함에 따라, CPU가 PIM를 능가하는 교차점은 OC ≈ 2500에서 OC ≌ 5000으로 이동하며, 이는 데이터 크기에 강한 의존성을 보임을 시사한다.
• 20W 전력 제한 조건 하에서 PIM은 최대 1950개의 메모리 어레이(MATs)를 지원할 수 있으며, 이 이상이 되면 에너지 제약으로 인해 통 throughput이 정점에 도달한다.
• 1비트 NOR 연산(OC = 1)의 경우, PIM은 0.1pJ를 소비하는 반면 CPU는 45pJ를 소비하며(3× E^CPU), 이로 인해 PIM는 에너지 효율성에서 450배의 우수성을 확보한다.
• OC가 7200를 초과하면 PIM의 에너지 효율성 우위가 감소하며, CPU가 더 효율적이게 되어 고복잡도 연산에 대해 PIM의 적용 가능성이 경계에 도달함을 보여준다.