[논문 리뷰] R-DBN: A Resistive Deep Belief Network Architecture Leveraging the Intrinsic Behavior of Probabilistic Devices.

Ramtin Zand, Kerem Y. Çamsarı외 5명|arXiv (Cornell University)|2017. 09. 30.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 나노자기 펄스 비트(p-bits)를 사용하여 시그모이드 활성화 함수를 자연스럽게 구현하는 저항성 딥 베이지안 네트워크(R-DBN)를 제안한다. CMOS와 스핀 기반 가중치 어레이를 통합하여 RBM을 실현함으로써, 이 아키텍처는 5,000개의 훈련 샘플을 사용하여 MNIST 숫자 인식에서 3.7%의 오차율을 달성하였으며, 더 깊은 784x800x800x10 구조를 사용한 기준선 36.8%의 오차율을 크게 감소시켰다.

ABSTRACT

A resistive deep belief network (R-DBN) architecture is developed using the physics of nanomagnets to provide a natural hardware representation for individual probabilistic neurons. Probabilistic spin logic devices (p-bits) are modeled to demonstrate a sigmoidal activation function. A hybrid CMOS/spin based weighted array structure is designed to implement a restricted Boltzmann machine (RBM). Device-level simulations based on precise physics relations are used to validate the sigmoidal relation between the output probability of a p-bit and its input currents. Characteristics of the resistive networks and p-bits are modeled in SPICE to perform a circuit-level simulation, which investigates the performance, area, and power consumption tradeoffs of the weighted array. In the application-level simulation, an R-DBN is implemented in MATLAB for digit recognition using the extracted device and circuit behavioral models. The MNIST data set is used to assess the accuracy of the R-DBN using 100 to 5,000 training images for five distinct network topologies. The results indicate that a baseline error rate of 36.8% for a 784x10 R-DBN trained by 100 samples can be reduced to only 3.7% using a 784x800x800x10 R-DBN trained by 5,000 input samples. Finally, power dissipation and accuracy tradeoffs for probabilistic computing mechanisms using resistive devices are identified.

연구 동기 및 목표

• 확률적 스핀 장치(p-bits)의 본질적 행동에 자연스럽게 매핑되는 하드웨어 인식 딥 베이지안 네트워크 아키텍처를 개발하기 위해.
• 장치 수준의 물리 시뮬레이션을 사용하여 p-bits의 시그모이드 활성화 함수를 모델링하고 검증하기 위해.
• 회로 수준의 SPICE 시뮬레이션을 통해 저항성 가중치 어레이의 성능, 면적, 전력 소비 간의 트레이드오프를 최적화하기 위해.
• 실세계 분류 작업에서의 정확도와 에너지 효율성을 MNIST 데이터셋을 사용하여 R-DBN의 성능 평가하기 위해.
• 저항성 나노자기 장치를 사용한 확률적 계산에서의 전력 소산과 정확도 간의 트레이드오프를 규명하기 위해.

제안 방법

• 입력 전류에 기반한 출력 확률이 물리 기반 모델에 의해 예측된 바와 같이 정확히 따르는 시그모이드 출력 확률을 모의하기 위해 정밀한 물리 관계를 사용하여 p-bits 모델링.
• 저항성 크로스바 아키텍처를 사용하여 제한된 볼츠만 기계(RBM)를 실현하기 위한 하이브리드 CMOS/스핀 기반 가중치 어레이 설계.
• 전력, 면적, 성능 트레이드오프를 분석하기 위해 회로 수준의 SPICE 시뮬레이션 수행.
• 장치 및 회로 행동 모델을 MATLAB 기반 R-DBN 프레임워크에 통합하여 익용 수준의 평가 수행.
• 다양한 깊이와 훈련 샘플 크기를 가진 다섯 가지의 서로 다른 네트워크 구조에서 MNIST 데이터셋에 대해 R-DBN의 훈련 및 테스트 수행.
• 실험적 오차율을 사용하여 네트워크 깊이, 훈련 데이터 크기, 분류 정확도 간의 관계 정량화.

실험 결과

연구 질문

• RQ1 p-bits가 자신의 본질적 스핀 동역학을 통해 자연스럽게 시그모이드 활성화 함수를 어떻게 실현할 수 있는가?
• RQ2 CMOS와 스핀 기반 장치로 구성된 저항성 가중치 어레이에서 전력, 면적, 성능 트레이드오프는 어떻게 변화하는가?
• RQ3 다양한 네트워크 깊이와 훈련 데이터 크기에서 MNIST 데이터셋에 대한 R-DBN의 실현 가능한 분류 정확도는 얼마인가?
• RQ4 네트워크 깊이와 훈련 샘플 크기를 증가시킬 경우 R-DBN 아키텍처의 오차율은 어떻게 변화하는가?
• RQ5 저항성 나노자기 장치를 사용한 확률적 계산에서의 기본적인 전력 소산과 정확도 간의 트레이드오프는 무엇인가?

주요 결과

• p-bits 장치는 물리 기반 모델에 의해 예측된 대로 입력 전류에 따라 정확히 따라가는 출력 확률을 성공적으로 모의하여 시그모이드 활성화 함수를 구현하였다.
• 하이브리드 CMOS/스핀 가중치 어레이는 784x10 R-DBN 아키텍처를 사용하여 단지 100개의 샘플로 훈련할 경우 MNIST에서 36.8%의 오차율을 달성하였다.
• 네트워크 깊이를 784x800x800x10으로 늘리고 훈련 데이터를 5,000개로 증가시킴으로써 오차율을 3.7%로 감소시켰다.
• R-DBN는 네트워크 깊이와 훈련 데이터의 증가에 따라 정확도가 뛰어나게 확장됨을 보여주었으며, 이는 확률적 하드웨어에서 효과적인 학습이 가능하다는 것을 시사한다.
• 회로 수준의 SPICE 시뮬레이션은 저항성 네트워크 설계가 전력 소비와 성능 간에 유리한 트레이드오프를 달성함을 확인하였다.
• 이 연구는 에너지 소산과 분류 정확도 간의 명확한 트레이드오프를 규명하였으며, 저전력 확률적 추론을 위한 저항성 p-bit 장치의 잠재력을 부각시켰다.