[논문 리뷰] Binary Weighted Memristive Analog Deep Neural Network for Near-Sensor Edge Processing

Olga Krestinskaya, Alex Pappachen James|arXiv (Cornell University)|2018. 08. 02.

Advanced Memory and Neural Computing참고 문헌 12인용 수 4

한 줄 요약

이 논문은 저전력, 면적 효율적인 센서 근접 엣지 추론을 가능하게 하기 위해 이진 상태 메모리스티브 장치를 사용하여 이진 가중치를 가진 메모리스티브 아날로그 딥 네ural 네트워크를 제안한다. 크로스바 아키텍처에서 역전파를 통해 이진 가중치 업데이트를 활용함으로써, 네트워크는 MNIST 숫자 인식에서 약 90%의 정확도를 달성하여, 최소한의 하드웨어 오버헤드로 에너지 효율적인 엣지 AI의 실현 가능성을 입증한다.

ABSTRACT

The memristive crossbar aims to implement analog weighted neural network, however, the realistic implementation of such crossbar arrays is not possible due to limited switching states of memristive devices. In this work, we propose the design of an analog deep neural network with binary weight update through backpropagation algorithm using binary state memristive devices. We show that such networks can be successfully used for image processing task and has the advantage of lower power consumption and small on-chip area in comparison with digital counterparts. The proposed network was benchmarked for MNIST handwritten digits recognition achieving an accuracy of approximately 90%.

연구 동기 및 목표

• 메모리스티브 장치의 제한된 스위칭 상태가 아날로그 신경망 구현에 미치는 영향을 해결하기 위해.
• 이진 가중치를 가진 메모리스티브 장치를 사용하여 엣지 컴퓨팅을 위한 에너지 효율적인 차량 내 추론을 가능하게 하기 위해.
• 메모리스티브 크로스바에서 이진 가중치를 사용하여 역전파를 적용한 학습 가능한 아날로그 DNN을 설계하기 위해.
• 최소한의 하드웨어 프로파일을 가진 이미지 분류 작업에서 성능을 평가하기 위해.
• 아날로그 이진 가중치 메모리스티브 네트워크를 사용한 센서 근접 처리의 실현 가능성을 입증하기 위해.

제안 방법

• 크로스바 어레이에서 가중치를 표현하기 위해 이진 상태 메모리스티브 장치를 사용하여 아날로그 계산을 가능하게 한다.
• 학습 중에 가중치를 이진 형태(±1)로 업데이트하기 위해 수정된 역전파 알고리즘을 적용한다.
• 가중치는 메모리스터에 저장되고 활성화는 아날로그 영역에서 처리되는 하이브리드 아날로그-디지털 아키텍처를 활용한다.
• 전체 정밀도 디지털 구현 대비 전력과 면적을 줄이기 위해 이진 가중치 레이어를 가진 네트워크를 설계한다.
• 이진 가중치 제약 조건에도 불구하고 정확도를 유지하기 위해 학습 과정을 최적화한다.
• 완전히 연결된 딥 네럴 네트워크를 사용하여 MNIST에서 이진 가중치를 가진 아키텍처를 검증한다.

실험 결과

연구 질문

• RQ1 이진 가중치 메모리스티브 크로스바는 학습 가능한 아날로그 딥 네럴 네트워크를 효과적으로 구현할 수 있는가?
• RQ2 이진 가중치 메모리스티브 DNN의 정확도는 이미지 작업에서 전체 정밀도 디지털 대비와 비교해 어떻게 되는가?
• RQ3 엣지 AI 하드웨어에서 이진 상태 메모리스터를 사용할 경우 전력과 면적 측면에서 어떤 이점이 있는가?
• RQ4 메모리스티브 크로스바 아키텍처에서 이진 가중치 업데이트에 대해 역전파를 효과적으로 적응시킬 수 있는가?
• RQ5 이진 가중치를 사용한 아날로그 계산은 얼마나 깊이까지 센서 근접 엣지 추론을 가능하게 할 수 있는가?

주요 결과

• 제안된 이진 가중치 메모리스티브 DNN은 MNIST 손글씨 숫자 인식 벤치마크에서 약 90%의 정확도를 달성한다.
• 이진 가중치 표현과 아날로그 메모리 내 계산 덕분에 디지털 구현 대비 뚜렷한 전력 및 면적 효율성을 보인다.
• 실제 장치에서의 제한된 스위칭 상태에도 불구하고 이진 상태 메모리스터의 사용이 실용적인 구현을 가능하게 한다.
• 역전파를 통한 엔드 투 엔드 학습이 가능하여 이진 가중치 아날로그 프레임워크 내에서 학습의 실현 가능성을 입증한다.
• 데이터 이동과 차량 내 메모리 요구량을 최소화함으로써 센서 근접 처리를 지원한다.
• 결과적으로 이진 가중치 아날로그 네트워크가 엣지 AI 응용 분야에서 낮은 하드웨어 비용으로 수용 가능한 정확도를 달성할 수 있음을 확인한다.