[논문 리뷰] PIMBALL: Binary Neural Networks in Spintronic Memory

Salonik Resch, S. Karen Khatamifard외 6명|arXiv (Cornell University)|2018. 12. 10.

Advanced Memory and Neural Computing참고 문헌 48인용 수 4

한 줄 요약

PIMBALL은 스핀트로닉스 기반의 메모리 내 계산 아키텍처로, 스핀트랜스퍼 토크 자기랜덤액세스메모리(STM-MRAM) 어레이를 사용하여 이진 신경망(BNNs)을 가속화한다. 모든 BNN 연산—XNOR, 팝카운트, 임계치 설정—을 외부 디지털 논리 없이 메모리 어레이 내부에서 완전히 수행한다. 이는 CPU, GPU, FPGA 기반 구현보다 뚜렷이 높은 에너지 효율성을 달성하면서도, 대규모 어레이 수준의 병렬 처리를 통해 높은 처리량을 제공한다.

ABSTRACT

Neural networks span a wide range of applications of industrial and commercial significance. Binary neural networks (BNN) are particularly effective in trading accuracy for performance, energy efficiency or hardware/software complexity. Here, we introduce a spintronic, re-configurable in-memory BNN accelerator, PIMBALL: Processing In Memory BNN AcceL(L)erator, which allows for massively parallel and energy efficient computation. PIMBALL is capable of being used as a standard spintronic memory (STT-MRAM) array and a computational substrate simultaneously. We evaluate PIMBALL using multiple image classifiers and a genomics kernel. Our simulation results show that PIMBALL is more energy efficient than alternative CPU, GPU, and FPGA based implementations while delivering higher throughput.

연구 동기 및 목표

• 스핀트로닉스 메모리에서의 메모리 내 계산을 활용하여 전통적인 신경망 가속기의 에너지 및 성능 저하 문제를 해결한다.
• BNN 파rameter의 제한된 片내 저장 용량으로 인해 자주 외부 메모리에 액세스해야 하는 기존 가속기의 한계를 극복한다.
• 비트 연산 및 누적 연산을 내장으로 지원하는 STT-MRAM를 활용해 재구성 가능하고 확장성 있고 에너지 효율적인 PIM 기반 기반 구조를 BNN 전용으로 설계한다.
• 모든 BNN 계산을 메모리 어레이 내부에서 직접 수행함으로써 외부 디지털 또는 아날로그 논리 회로가 필요 없도록 한다.
• 대규모 스케일에서 BNN 추론을 수행할 때 뛰어난 에너지 효율성과 경쟁 가능한 처리량을 달성할 수 있음을 입증한다.

제안 방법

• 각 메모리 셀이 XNOR 및 팝카운트와 같은 스핀트로닉스 논리 연산을 통해 메모리 내 계산을 지원하는 수정된 STT-MRAM 어레이 아키텍처—PIMBALL을 사용한다.
• 어느 행도 알고리즘적 요구사항에 따라 동적으로 어떤 계산 작업에도 할당할 수 있는 재구성 가능한 메모리 어레이 설계를 채택하여 알고리즘 유연성을 확보한다.
• 스핀트로닉스 물리 및 어레이 수준의 병렬 처리를 활용해 모든 핵심 BNN 연산(XNOR, 팝카운트, 배치 정규화, 임계치 설정)을 메모리 어레이 내부에서 직접 수행한다.
• STT-MRAM의 본질적인 비버니시성과 비트 시리얼 성격을 활용해 단일 기반에서 저전력 지속 저장 및 계산을 동시에 지원한다.
• 가능한 느린 개별 사이클 시간에 비해 처리량을 높이기 위해 파이ipel라인 및 어레이 수준의 병렬 처리를 통합한다.
• 모든 계산 논리가 메모리 어레이 구조 내부에 통합되어 있으므로 외부 센싱 앰프 또는 보조 처리 장치를 피함으로써 완전한 메모리 내 처리를 실현한다.

실험 결과

연구 질문

• RQ1 외부 디지털 논리가 없이도 스핀트로닉스 메모리 어레이가 BNN의 핵심 연산(XNOR, 팝카운트, 임계치 설정 등)을 재구성 가능하게 수행할 수 있는가?
• RQ2 PIM 기반 BNN 가속기의 에너지 효율성은 기존 CPU, GPU, FPGA 구현과 비교해 어떻게 되는가?
• RQ3 PIMBALL에서 어레이 수준의 병렬 처리가 개별 연산 사이클이 느릴 수 있는 상황에서 처리량을 얼마나 보완할 수 있는가?
• RQ4 제안된 PIMBALL 아키텍처는 극도로 높은 에너지 효율성을 확보하면서도 높은 정확도를 유지할 수 있는가?
• RQ5 CIFAR-10 및 ImageNet에서 사용되는 더 큰 네트워크로 PIMBALL 아키텍처를 확장하는 것은 성능이나 효율성을 희생시키지 않고 가능한가?

주요 결과

• PIMBALL은 FPGA 기반 BNN 가속기 대비 뚜렷이 높은 에너지 효율성을 확보하며, 전력 소비는 FPGA 대비 일부분으로 줄어든다.
• 대규모 어레이 수준의 병렬 처리와 파이ipel라인을 통해 PIMBALL은 처리량 면에서 FPGA 기반 구현을 뛰어넘으면서도 뛰어난 에너지 효율성을 유지한다.
• 모든 핵심 BNN 연산(XNOR, 팝카운트, 배치 정규화, 임계치 설정)이 완전히 메모리 어레이 내부에서 수행되어 외부 디지털 또는 아날로그 회로 장치가 필요 없게 된다.
• PIMBALL 아키텍처는 완전히 재구성 가능하다: 어레이 내 어느 행도 알고리즘 요구사항에 따라 동적으로 다른 계산 작업에 할당될 수 있다.
• 설계는 확장 가능하며, CIFAR-10 및 SVHN에서 사용되는 더 큰 네트워크에도 적합하며, 시뮬레이션 결과는 높은 성능과 낮은 에너지 소비를 확인한다.
• 계산에 사용되지 않을 경우 표준 STT-MRAM 功能과 호환되므로, 메모리와 가속기 기능을 동시에 수행할 수 있다.