[논문 리뷰] An Area and Energy Efficient Design of Domain-Wall Memory-Based Deep Convolutional Neural Networks using Stochastic Computing

Xiaolong Ma, Yipeng Zhang외 6명|arXiv (Cornell University)|2018. 02. 03.

Error Correcting Code Techniques참고 문헌 28인용 수 3

한 줄 요약

이 논문은 도메인 월리드 메모리(DWM)와 확률적 계산(스토케스틱 컴퓨팅, SC)을 사용하여 영역 및 에너지 효율적인 딥 컨volution 뉴럴 네트워크(DCNNs)를 위한 최초의 종합 최적화 프레임워크인 DW-CNN을 제안한다. SRAM을 고밀도, 비휘발성 DWM으로 대체하고 메모리 정밀도, 구성 및 자원 공유를 최적화함으로써, 응용 수준의 정확도를 유지하면서 최대 52.6%의 면적 감소와 17.35배의 전력 소비 감소를 달성한다. (예: 1024비트 스토케스틱 스트림을 사용한 LeNet-5에서 99.01%의 정확도).

ABSTRACT

With recent trend of wearable devices and Internet of Things (IoTs), it becomes attractive to develop hardware-based deep convolutional neural networks (DCNNs) for embedded applications, which require low power/energy consumptions and small hardware footprints. Recent works demonstrated that the Stochastic Computing (SC) technique can radically simplify the hardware implementation of arithmetic units and has the potential to satisfy the stringent power requirements in embedded devices. However, in these works, the memory design optimization is neglected for weight storage, which will inevitably result in large hardware cost. Moreover, if conventional volatile SRAM or DRAM cells are utilized for weight storage, the weights need to be re-initialized whenever the DCNN platform is re-started. In order to overcome these limitations, in this work we adopt an emerging non-volatile Domain-Wall Memory (DWM), which can achieve ultra-high density, to replace SRAM for weight storage in SC-based DCNNs. We propose DW-CNN, the first comprehensive design optimization framework of DWM-based weight storage method. We derive the optimal memory type, precision, and organization, as well as whether to store binary or stochastic numbers. We present effective resource sharing scheme for DWM-based weight storage in the convolutional and fully-connected layers of SC-based DCNNs to achieve a desirable balance among area, power (energy) consumption, and application-level accuracy.

연구 동기 및 목표

• SC 기반 DCNN에서 메모리의 높은 하드웨어 비용과 전력 소비 문제를 해결하기 위해, 특히 전결합층에서의 가중치 저장에 초점을 맞춘다.
• 전원 켜짐 이후 재초기화가 필요한 가변성 있는 SRAM/DRAM의 한계를 극복하기 위해 비휘발성 도메인 월리드 메모리(DWM)를 채택한다.
• SC 기반 DCNN에서 DWM 기반 가중치 저장을 위한 종합적인 최적화 프레임워크를 설계하여 면적과 에너지를 최소화하면서 응용 수준의 정확도를 유지한다.
• DWM에서의 가중치 표현을 위한 최적의 메모리 유형, 정밀도, 구성 및 데이터 포맷(이진 vs. 스토케스틱)을 조사한다.
• 전결합층과 컨볼루션층 모두에서 DWM 기반 가중치 저장을 위한 효과적인 자원 공유 기법을 개발하여 면적, 전력 소비 및 정확도 간의 균형을 이룬다.

제안 방법

• 고밀도, 비휘발성 스핀트로닉스 메모리인 도메인 월리드 메모리(DWM)를 도입하여, SC 기반 DCNN의 가중치 저장에 기존의 SRAM을 대체한다.
• 다양한 정밀도 수준(예: 7비트 이진수, 32~1024비트 스토케스틱 스트림)과 메모리 유형을 평가하여 면적과 에너지를 최소화하는 메모리 구성 최적화를 수행한다.
• 컨볼루션층과 전결합층 모두에서 DWM 기반 가중치 저장을 위한 자원 공유 기법을 구현하여 중복 회로를 감소시킨다.
• 내적 곱셈과 활성화 함수와 같은 계산 블록에서 면적과 전력 소비를 줄이기 위해 스토케스틱 컴퓨팅(SC)을 활용하여 산술 유닛을 단순화한다.
• 전결합층에서 여러 가중치 행렬 간에 DWM 읽기/쓰기 회로를 공유하여 면적과 에너지 오버헤드를 최소화한다.
• CACTI(SRAM)와 Synopsys Design Compiler(논리 회로)의 하드웨어 파rameter 및 이전 문헌에서 확보한 DWM 파rameter를 기반으로 MNIST 데이터셋을 사용해 LeNet-5에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 면적과 에너지 효율성 측면에서 SC 기반 DCNN의 가중치 저장에 가장 적합한 메모리 유형(DWM 대 SRAM)은 무엇인가?
• RQ2 DWM 기반 SC-DCNN에서 가중치를 이진수로 저장할지 스토케스틱 수로 저장할지의 선택이 면적, 전력 소비 및 응용 수준의 정확도에 미치는 영향은 어떠한가?
• RQ3 높은 정확도를 유지하면서 하드웨어 비용을 최소화하기 위한 스토케스틱 가중치 표현의 최적 정밀도(비트스트림 길이)는 무엇인가?
• RQ4 전결합층에서 DWM 기반 가중치 저장에 대해 자원 공유 기법이 면적과 전력 소비 절감에 얼마나 효과적인가?
• RQ5 DWM 기반 가중치 저장은 전원 켜짐 이후 재초기화 없이도 비휘발성으로 작동할 수 있도록 하여 진정으로 플러그 앤 플레이가 가능한 DCNN 플랫폼을 얼마나 잘 실현할 수 있는가?

주요 결과

• SC 기반 DCNN에서 DWM을 사용해 가중치를 저장함으로써, 전결합층에서 공유되지 않은 DWM 구성 대비 면적은 최대 52.6% 감소하고 전력 소비는 17.35배 감소한다.
• DWM에서 가중치를 스토케스틱 수로 저장할 경우, 특히 비트스트림 길이가 길어질수록 이진 표현보다 면적과 전력 소비 절감 효과가 더 크다.
• 1024비트 스토케스틱 가중치 스트림을 사용해도 응용 수준의 정확도가 유지되며, LeNet-5에서 99.01%의 정확도를 기록한다. 256비트 스트림은 98.95%의 정확도를 제공하여 효율성을 높이기 위해 짧은 스트림 사용이 가능하다는 것을 뒷받침한다.
• SRAM과 긴 비트스트림을 사용할 경우 전력 소비가 크게 증가하지만, DWM은 낮은 누설 전류와 고밀도 특성 덕분에 전력 소비가 거의 일정하게 유지된다.
• 자원 공유 기법은 DWM 읽기/쓰기 회로와 APC(누적기 기반 곱셈 블록)의 수를 최소화함으로써 면적과 전력 소비를 감소시킨다.
• DWM은 비휘발성 가중치 저장을 가능하게 하여 전원 켜짐 이후 재초기화가 필요 없으며, 임베디드 DCNN 시스템에서 진정으로 플러그 앤 플레이가 가능한 환경을 제공한다.