[논문 리뷰] Domain Wall Leaky Integrate-and-Fire Neurons with Shape-Based Configurable Activation Functions

Wesley H. Brigner, Naimul Hassan외 8명|arXiv (Cornell University)|2020. 11. 11.

Advanced Memory and Neural Computing참고 문헌 26인용 수 21

한 줄 요약

이 논문은 도메인 월 트랙의 기하학적 구조를 조절하여 구성 가능한 활성화 함수—특히 선형 및 시그모이드형—를 가능하게 하는 스핀트로닉스 장치에서 형태 설계된 자기 도메인 월 뉴런을 제안한다. 트랙의 너비 기울기를 조절함으로써, CMOS 회로 없이 아날로그 유사한 누출 적분-화염 행동을 실현하며, 활성화 특성을 조절 가능하게 하여 스핀트로닉스 뉴로모르픽 시스템 내 학습 효율성을 크게 향상시킨다.

ABSTRACT

Complementary metal oxide semiconductor (CMOS) devices display volatile characteristics, and are not well suited for analog applications such as neuromorphic computing. Spintronic devices, on the other hand, exhibit both non-volatile and analog features, which are well-suited to neuromorphic computing. Consequently, these novel devices are at the forefront of beyond-CMOS artificial intelligence applications. However, a large quantity of these artificial neuromorphic devices still require the use of CMOS, which decreases the efficiency of the system. To resolve this, we have previously proposed a number of artificial neurons and synapses that do not require CMOS for operation. Although these devices are a significant improvement over previous renditions, their ability to enable neural network learning and recognition is limited by their intrinsic activation functions. This work proposes modifications to these spintronic neurons that enable configuration of the activation functions through control of the shape of a magnetic domain wall track. Linear and sigmoidal activation functions are demonstrated in this work, which can be extended through a similar approach to enable a wide variety of activation functions.

연구 동기 및 목표

• 이전의 스핀트로닉스 누출 적분-화염 뉴런에서 활성화 함수의 구성 가능성이 제한되어 있는 문제를 해결하기 위해.
• 뉴로모르픽 컴퓨팅에서 활성화 함수 제어를 위한 CMOS 회로 의존도를 제거하기 위해.
• 자기 도메인 월 트랙의 형상이 다양한 활성화 함수를 설계하는 데 사용될 수 있음을 보여주기 위해.
• 순수하게 스핀트로닉스 수단을 통해 효율적이고 비버니셔블이며 아날로그적인 신경망 동작을 가능하게 하기 위해.

제안 방법

• 도메인 월 트랙을 점진적으로 넓어지는 폭 프로파일로 설계하여 도메인 월 이동을 제어하는 공간적으로 변화하는 에너지 장을 생성한다.
• 대칭적이고 점차 넓어지는 트랙을 통해 선형 활성화를 달성하며, 이는 일정한 누출 속도를 생성한다.
• 압축(시그모이드형) 활성화는 폭 기울기를 중심 영역에 국한시켜 비선형 누출 반응을 생성함으로써 실현된다.
• mumax3를 사용한 마이크로자기 시뮬레이션을 통해 다양한 입력 전류 조건에서의 통합, 누출 및 발화 행동을 검증한다.
• 스핀-오비트-토크(SOT) 전류를 이용해 스핀 정렬 전자를 주입하여 도메인 월의 운동을 구동한다.
• 외부 회로 없이도 트랙 폭(w1)과 곡률(b)와 같은 기하학적 매개변수를 조절하여 활성화 함수를 조절할 수 있다.

실험 결과

연구 질문

• RQ1 자기 도메인 월 트랙의 형상이 스핀트로닉스 뉴런의 활성화 함수를 구성하는 데 사용될 수 있는가?
• RQ2 선형 및 시그모이드형 활성화 함수는 CMOS 없는 스핀트로닉스 뉴런에서 어떻게 물리적으로 실현될 수 있는가?
• RQ3 도메인 월 뉴런에서 누출 행동의 선형성과 비선형성을 제어하는 기하학적 매개변수는 무엇인가?
• RQ4 다양한 활성화 함수 형상에서 통합 속도와 안정성은 어느 정도 유지될 수 있는가?
• RQ5 이 방법은 신경망에서 일반적으로 사용되는 다른 활성화 함수를 구현하는 데 확장될 수 있는가?

주요 결과

• 선형 활성화 함수는 곡률 매개변수 b가 1에서 5 사이일 때 달성되며, b = 1일 경우 직선 트랙이 되고 b가 증가할수록 선형성과 누출 속도가 향상된다.
• 선형 회귀에 대한 잔차 제곱 평균근오차(RMSE)는 b가 증가함에 따라 감소하여 선형성 향상 여부를 나타낸다.
• 시그모이드형(압축) 활성화 함수는 폭 기울기를 중심 영역에 국한시켜 비선형 누출 반응을 생성하며, w1은 100 nm에서 400 nm 사이에서 변동된다.
• 입력 전류가 0.1 mA일 경우 높은 w1에서 도메인 월 불안정성으로 인해 통합이 비단조적이게 되지만, 0.5 mA일 경우 이 문제를 해결하여 단조롭고 안정적인 통합이 보장된다.
• 입력 전류가 증가할수록 통합 속도가 증가하며, 압축 뉴런에서는 이 속도가 w1에 반비례한다. 높은 전류에서는 가장자리 진동이 억제된다.
• 제안된 방법은 CMOS 없이 형상 기반 활성화 함수 조절을 가능하게 하여, 전적으로 스핀트로닉스 기반의 온칩 학습을 위한 길을 열어준다.