[논문 리뷰] Low Power Artificial Neural Network Architecture

Krishna Prasad Gnawali, Seyed Nima Mozaffari외 1명|arXiv (Cornell University)|2019. 04. 03.

Advanced Memory and Neural Computing참고 문헌 21인용 수 7

한 줄 요약

이 논문은 메모리스터 기반 크로스바 어레이에서 전력 소모가 높은 전압 변환기와 연산 증폭기를 대체하기 위해 스핀트로닉스 장치를 사용하는 저전력 피드포워드 신경망 아키텍처를 제안한다. 각 열 쌍당 하나의 스핀트로닉스 장치를 사용하여 시냅스 전류를 생성함으로써, 기존의 메모리스터 기반 신경망 아키텍처에 비해 상당한 전력 절감을 달성하였으며, 그 효율성 향상은 실험적으로도 입증되었다.

ABSTRACT

Recent artificial neural network architectures improve performance and power dissipation by leveraging resistive devices to store and multiply synaptic weights with input data. Negative and positive synaptic weights are stored on the memristors of a reconfigurable crossbar array (MCA). Existing MCA-based neural network architectures use high power consuming voltage converters or operational amplifiers to generate the total synaptic current through each column of the crossbar array. This paper presents a low power MCA-based feedforward neural network architecture that uses a spintronic device per pair of columns to generate the synaptic current for each neuron. It is shown experimentally that the proposed architecture dissipates significantly less power compared to existing feedforward memristive neural network architectures.

연구 동기 및 목표

• 기존의 메모리스터 기반 신경망 아키텍처에서 전압 변환기와 연산 증폭기의 높은 전력 소비 문제를 해결하기 위해.
• 기존의 전류 생성 방법을 스핀트로닉스 장치로 대체하여 피드포워드 신경망의 전력 소모를 줄이기 위해.
• 메모리스터를 사용하여 양수 및 음수 시냅스 가중치를 모두 지원하는 재구성 가능한 크로스바 어레이(MCA)를 설계하기 위해.
• 스핀트로닉스 장치를 활용하여 효율적인 시냅스 전류 생성을 위한 신규 아키텍처를 실험적으로 검증하기 위해.

제안 방법

• 아키텍처는 전통적인 전압 변환기와 연산 증폭기를, 각 열 쌍당 하나의 스핀트로닉스 장치로 대체하여 각 뉴런의 총 시냅스 전류를 생성한다.
• 시냅스 가중치는 재구성 가능한 크로스바 어레이(MCA)에 있는 메모리스터를 사용하여 저장되며, 장치 설정을 통해 양수 및 음수 가중치 모두를 지원한다.
• 스핀트로닉스 장치는 전류원으로 작동하여 추가적인 전력 소모가 큰 회로 없이도 필요한 시냅스 전류를 직접 생성한다.
• 스핀트로닉스 장치를 사용하여 열 단위의 전류 합산이 가능하여 전류 생성 과정에서의 전력 손실을 최소화한다.
• 크로스바 구조와 가중치 저장 메커니즘을 유지함으로써 표준 피드포워드 신경망 계산과의 호환성을 확보한다.
• 기존의 MCA 기반 아키텍처와의 전력 소모 비교를 위해 실험적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 스핀트로닉스 장치가 메모리스터 기반 신경망에서 시냅스 전류 생성을 위해 전압 변환기와 연산 증폭기를 효과적으로 대체할 수 있는가?
• RQ2 MCA 기반 신경망에서 전통적인 전류 생성 방법에 비해 스핀트로닉스 장치를 사용할 경우 전력 소모에서 어떤 이점이 있는가?
• RQ3 제안된 아키텍처는 전력 소모를 줄이면서도 정확성과 기능성을 유지하는가?
• RQ4 스핀트로닉스 장치의 사용이 크로스바 어레이 구현에서 에너지 효율을 얼마나 향상시키는가?
• RQ5 제안된 아키텍처가 기존의 MCA 기반 신경망 설계에 대한 실용적인 저전력 대안으로 실험적으로 검증될 수 있는가?

주요 결과

• 제안된 아키텍처는 기존의 메모리스터 기반 신경망 아키텍처에 비해 상당히 낮은 전력 소모를 보였다.
• 전류 생성을 위한 스핀트로닉스 장치의 사용으로 고전력 소모 전압 변환기와 연산 증폭기의 필요성이 제거되었다.
• 실험 결과, 아키텍처가 시냅스 전류 생성에서 상당한 전력 절감을 달성함을 확인하였다.
• 아키텍처는 재구성 가능한 크로스바 어레이와의 호환성을 유지하며, 양수 및 음수 시냅스 가중치 모두를 지원한다.
• 실세계 환경에서의 검증을 통해 기존 방법에 비해 에너지 효율성이 뚜렷이 향상됨을 보였다.