[논문 리뷰] A Long Short-Term Memory for AI Applications in Spike-based Neuromorphic Hardware

Philipp Plank, Arjun A. Rao외 2명|arXiv (Cornell University)|2021. 07. 08.

Advanced Memory and Neural Computing인용 수 9

한 줄 요약

이 논문은 인텔 로이히와 같은 뉴로모픽 하드웨어에서 효율적인 AI 추론을 위한 AHP-뉴런 기반 스파iking 신경망(SNN) 아키텍처와 스파이킹 관계망(Spiking RelNet)을 제안한다. 시간적 인코딩, 최적화된 네트워크 배치, 스파이크 기반 계산을 통해 GPU 기반 LSTMs 대비 최대 21,025배 높은 에너지 효율성을 달성하며, sMNIST 및 bAbI 질의응답 작업에서 높은 정확도를 보이며 크로스-칩 통신과 에너지 소비를 최소화한다.

ABSTRACT

Spike-based neuromorphic hardware holds the promise to provide more energy efficient implementations of Deep Neural Networks (DNNs) than standard hardware such as GPUs. But this requires to understand how DNNs can be emulated in an event-based sparse firing regime, since otherwise the energy-advantage gets lost. In particular, DNNs that solve sequence processing tasks typically employ Long Short-Term Memory (LSTM) units that are hard to emulate with few spikes. We show that a facet of many biological neurons, slow after-hyperpolarizing (AHP) currents after each spike, provides an efficient solution. AHP-currents can easily be implemented in neuromorphic hardware that supports multi-compartment neuron models, such as Intel's Loihi chip. Filter approximation theory explains why AHP-neurons can emulate the function of LSTM units. This yields a highly energy-efficient approach to time series classification. Furthermore it provides the basis for implementing with very sparse firing an important class of large DNNs that extract relations between words and sentences in a text in order to answer questions about the text.

연구 동기 및 목표

• 뉴로모픽 하드웨어(예: 인텔 로이히)에서 AI 워크로드를 위한 에너지 효율적인 스파이킹 신경망을 개발하기 위해.
• 다중 칩 SNN 구현에서 높은 스파이크 혼잡도와 비효율적 통신 문제를 해결하기 위해.
• 최소한의 에너지 및 지연 시간으로 스파이크 기반 계산을 사용해 시퀀스 및 추론 작업(sMNIST, bAbI)에서 높은 정확도를 달성하기 위해.
• 크로스-칩 통신을 줄이고 하드웨어 활용도를 향상시키기 위해 네트워크 배치 및 연결 최적화를 위해.
• 직접적인 효율성 비교를 위해 전통적인 CPU/GPU 구현과의 에너지 및 지연 시간 성능을 벤치마킹하기 위해.

제안 방법

• 스파이킹 뉴런의 시간적 인코딩과 기억 유지 능력을 향상시키기 위해 적응형 지수적 전류와 반사기한을 갖춘 AHP-뉴런을 사용한다.
• 스파이킹 뉴런을 통한 백프로파게이션을 가능하게 하기 위해 감쇠 인자 γ와 스케일드 전압 지원을 갖춘 서로서티브 기울기 방법을 적용한다.
• 연속 프레임 간 픽셀 전이 기반으로 스파이크를 생성하는 새로운 입력 인코딩 기법을 적용하여 MNIST 이미지를 처리한다.
• 공유된 파라미터와 최적화된 연결성을 갖춘 다수의 관계 함수 gθ 인스턴스를 포함하는 스파이킹 RelNet를 설계한다.
• 스파이크 전송을 최소화하기 위해 릴레이 레이어를 gθ 입력 레이어와 함께 동일 칩에 공동 배치하여 네트워크를 로이히 칩 간 최적화한다.
• 시냅스 메모리, 입력 축삭, 출력 축삭 제약 조건을 기반으로 한 제약 있는 배치 전략을 사용하여 하드웨어 병목 현상과 스파이크 혼잡도를 최소화한다.

실험 결과

연구 질문

• RQ1 AHP 기반 SNN는 뉴로모픽 하드웨어에서 초저전력 소비를 유지하면서 sMNIST 벤치마크에서 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 Spiking RelNet의 에너지 및 지연 시간 성능은 bAbI 질의응답 작업에서 전통적인 딥러닝 모델과 비교해 어떻게 되는가?
• RQ3 다중 칩 뉴로모픽 시스템에서 스파이크 혼잡도와 크로스-칩 통신을 최소화하는 네트워크 배치 전략은 무엇인가?
• RQ4 시간적 인코딩과 스파이크 다이내믹스는 시퀀스 모델링 및 추론 작업에서 성능을 얼마나 잘 유지할 수 있는가?
• RQ5 GPU 및 CPU 대비 로이히에서 스파이킹 네트워크의 실현 가능한 에너지-지연 제품(EDP)은 얼마인가?

주요 결과

• AHP-SNN는 sMNIST 작업에서 98.2%의 정확도를 달성했으며, 에너지-지연 제품(EDP)은 5.14 µJ로 GPU 기준 대비 21,025.64배 향상되었다.
• bAbI 작업에서 Spiking RelNet는 100k-샷 버전에서 94.7%의 정확도, 10k-샷 버전에서 91.7%의 정확도를 기록하여 스파이킹 아키텍처 내 강력한 추론 능력을 입증했다.
• Spiking RelNet는 로이히에서 EDP 1423.70 µJ를 기록했으며, CPU 기준 대비 276.85배, GPU 기준 대비 21,025.64배 높은 에너지 효율성을 확보했다.
• 최적화된 네트워크 배치로 릴레이 레이어를 gθ 입력 레이어와 함께 동일 칩에 공동 배치함으로써 크로스-칩 통신이 감소했으며, 필요한 릴레이 네트워크 수가 줄어들고 스파이크 혼잡도가 최소화되었다.
• 에너지 벤치마킹 결과, AHP-SNN의 동적 전력 소비는 24.33 mW였고 총 전력은 25.83 mW로 GPU 및 CPU 대비 상당히 낮았다.
• Spiking RelNet는 로이히에서 2,308개의 코어를 요구했으며, 가장 큰 제약은 시냅스 메모리였고, 하드웨어 제약을 고려하면서도 상호 칩 간 통신을 최소화하도록 배치되었다.