[논문 리뷰] Implementation of a Binary Neural Network on a Passive Array of Magnetic Tunnel Junctions

Jonathan M. Goodwill, Nitin Prasad외 10명|arXiv (Cornell University)|2021. 12. 16.

Neural Networks and Applications참고 문헌 67인용 수 15

한 줄 요약

이 논문은 자기터널접합(MTJ)의 고유한 이진 동작 및 저전력 특성을 활용하여 수동 15×15 배열을 사용해 이진 신경망의 고정밀 추론을 구현함을 보여준다. 장치의 비이상적 특성인 변동성과 부속 저항성 등에도 불구하고, 저자들은 최적화된 네트워크 파rameter 조정을 통해 와인 데이터셋에서 최대 95.3%의 분류 정확도를 달성하였으며, 이는 메모리 내 AI 가속기의 강건한 하드웨어 매핑 가능성을 입증한다.

ABSTRACT

The increasing scale of neural networks and their growing application space have produced demand for more energy- and memory-efficient artificial-intelligence-specific hardware. Avenues to mitigate the main issue, the von Neumann bottleneck, include in-memory and near-memory architectures, as well as algorithmic approaches. Here we leverage the low-power and the inherently binary operation of magnetic tunnel junctions (MTJs) to demonstrate neural network hardware inference based on passive arrays of MTJs. In general, transferring a trained network model to hardware for inference is confronted by degradation in performance due to device-to-device variations, write errors, parasitic resistance, and nonidealities in the substrate. To quantify the effect of these hardware realities, we benchmark 300 unique weight matrix solutions of a 2-layer perceptron to classify the Wine dataset for both classification accuracy and write fidelity. Despite device imperfections, we achieve software-equivalent accuracy of up to 95.3 % with proper tuning of network parameters in 15 x 15 MTJ arrays having a range of device sizes. The success of this tuning process shows that new metrics are needed to characterize the performance and quality of networks reproduced in mixed signal hardware.

연구 동기 및 목표

• 수동 MTJ 배열을 사용해 메모리 내에서 직접 신경망 추론을 구현하여 AI 하드웨어의 바나흐-보르너 블로킹 문제를 해결한다.
• 장치 변동성, 쓰기 오류, 부속 저항성, 기판 비이상성 등의 하드웨어 비이상적 특성이 신경망 성능에 미치는 영향을 정량화한다.
• 가중치 행렬의 변동성을 고려한 오프라인 학습이 물리적 결함이 존재하는 상황에서도 높은 추론 정확도를 유지할 수 있는 하드웨어 구현 가능한 모델을 도출할 수 있는지 평가한다.
• 혼합 신호 하드웨어에 매핑된 신경망의 품질을 기술하기 위해 새로운 성능 지표가 필요하다는 것을 입증한다.

제안 방법

• 저자들은 서로 다른 무작위 초기화를 사용해 와인 데이터셋에 대해 2층 퍼셉트론의 300개의 서로 다른 가중치 행렬 해를 학습시켰다.
• 각 가중치 행렬은 신경망의 시냅스 가중치가 장치의 도전도 상태로 표현되는 15×15 수동 MTJ 크로스바 어레이에 매핑되었다.
• 저전압 작동 조건 하에서 선형 초월의 가정 하에, 비트라인을 따라 전류 합산을 통해 벡터-행렬 곱셈(VMM)을 수행하였다.
• 입력 벡터에 대해 병렬 및 직렬 전류 측정을 비교하여 MTJ 어레이의 선형 동작을 검증하였으며, 0.5 V 이하에서 최대 3% 이내의 RMS 이격을 확인하였다.
• 분류 정확도와 시뮬레이션된 가중치 행렬과 하드웨어로 실행된 가중치 행렬 간의 RMS 이격을 사용해 네트워크 성능을 평가하였다.
• 최적의 네트워크 파aram터는 이론적 최적화와는 무관하게 실험 정확도를 최대화하기 위해 가중치 정규화 상수를 조정함으로써 도출되었다.

실험 결과

연구 질문

• RQ1 장치 비이상적 특성이 존재하는 상황에서도 수동 MTJ 어레이가 소프트웨어 수준의 추론 정확도를 달성할 수 있는가?
• RQ2 장치 변동성 및 부속 저항성 등의 하드웨어 결함이 매핑된 신경망의 성능에 어떤 영향을 미치는가?
• RQ3 다양한 가중치 행렬 해를 고려한 오프라인 학습이 물리적 하드웨어에 매핑했을 때 높은 정확도를 달성할 가능성을 높이는가?
• RQ4 시뮬레이션된 가중치와 하드웨어 가중치 간의 RMS 이격을 최소화하는 가중치 정규화 상수가 실제로 추론 정확도를 최대화하는 데에도 최적인가?
• RQ5 수동 MTJ 어레이에서 아날로그 VMM 계산을 위해 전류의 선형 초월을 신뢰성 있게 가정할 수 있는가?

주요 결과

• 저자들은 15×15 수동 MTJ 어레이를 사용해 와인 데이터셋에서 최대 95.3%의 추론 정확도를 달성하였으며, 이는 소프트웨어 수준의 성능과 동일했다.
• 장치 간 변동성과 부속 저항성에도 불구하고, 특히 가중치 정규화 상수의 세심한 조정을 통해 높은 정확도를 유지하였다.
• 300개의 가중치 행렬 해에 대한 중앙값 추론 정확도는 95.3%였으며, 다양한 하드웨어 매핑에서도 일관된 성능을 보였다.
• 가중치 정규화 상수를 조정함으로써 시뮬레이션된 가중치와 하드웨어로 실행된 가중치 간의 RMS 이격이 최소화되었지만, 이는 항상 실제 정확도를 최대화하는 데로 이어지지는 않았다. 이는 시뮬레이션의 정밀도와 실제 성능 간의 괴리가 있음을 시사한다.
• 실험적으로 MTJ 전류의 선형 초월이 검증되었으며, 적용된 전압이 0.5 V 이하일 동안 상대적 RMS 이격이 3% 이하, 일반적으로 약 1% 이내였다.
• 개별 장치 전류 노이즈(약 10 nA, 약 1%)에서 기인하는 측정 불확실성이 총 오차의 주요 기여 요소였지만, 이는 분류 정확도를 2%를 초과해 악화시키지 않았다.