[논문 리뷰] Computing with hardware neurons: spiking or classical? Perspectives of applied Spiking Neural Networks from the hardware side

Sergei Dytckov, Masoud Daneshtalab|arXiv (Cornell University)|2016. 02. 05.

Advanced Memory and Neural Computing참고 문헌 26인용 수 3

한 줄 요약

이 논문은 하드웨어 에너지 효율성 관점에서 스파iking 신경망과 전통적 신경망을 비교하며, 스파이크 하드웨어가 기본 연산에서는 전통적 시스템과 동일하거나 이를 초월하지만, 과도한 스파이크 표현으로 인한 시스템 수준의 비효율성이 성능을 저하시킨다고 밝힌다. 주요 발견은 스파이크 수를 최소화하는 스파이크 기반 응용 프로그램이 에너지 격차를 좁힐 수 있지만, 현재 시스템은 스파이크의 양으로 인해 여전히 버티바일 상태에 있다는 것이다.

ABSTRACT

While classical neural networks take a position of a leading method in the machine learning community, spiking neuromorphic systems bring attention and large projects in neuroscience. Spiking neural networks were shown to be able to substitute networks of classical neurons in applied tasks. This work explores recent hardware designs focusing on perspective applications (like convolutional neural networks) for both neuron types from the energy efficiency side to analyse whether there is a possibility for spiking neuromorphic hardware to grow up for a wider use. Our comparison shows that spiking hardware is at least on the same level of energy efficiency or even higher than non-spiking on a level of basic operations. However, on a system level, spiking systems are outmatched and consume much more energy due to inefficient data representation with a long series of spikes. If spike-driven applications, minimizing an amount of spikes, are developed, spiking neural systems may reach the energy efficiency level of classical neural systems. However, in the near future, both type of neuromorphic systems may benefit from emerging memory technologies, minimizing the energy consumption of computation and memory for both neuron types. That would make infrastructure and data transfer energy dominant on the system level. We expect that spiking neurons have some benefits, which would allow achieving better energy results. Still the problem of an amount of spikes will still be the major bottleneck for spiking hardware systems.

연구 동기 및 목표

• 실제 응용 분야에서 스파이킹 뉴로모픽 하드웨어의 에너지 효율성을 전통적 신경망과 비교 평가하는 것.
• 장기적인 스파이크 트레인에 의한 데이터 표현으로 인한 시스템 수준의 비효율성을 스파이킹 하드웨어에서 특정적으로 규명하는 것.
• 최적화된 스파이크 사용을 통해 스파이킹 신경망 시스템이 전통적 네트워크와 동일하거나 더 뛰어난 에너지 효율성을 달성할 수 있는지 탐색하는 것.
• 신규 메모리 기술이 시스템 수준에서 뉴런 유형 간 에너지 소비를 줄이는 데 기여할 수 있는지 평가하는 것.
• 스파이킹 뉴로모픽 시스템이 현재의 한계를 극복해 보다 넓은 도입을 가능하게 할 수 있는지 판단하는 것.

제안 방법

• 기본 계산 연산 수준에서 스파이킹 및 전통적 신경망의 에너지 효율성을 벤치마킹하는 것.
• 스파이크 시스템에서 장기적인 스파이크 시퀀스로 인한 데이터 표현 비효율성에 초점을 맞춘 시스템 수준의 에너지 소비 분석.
• 스파이크 기반 응용 설계가 총 스파이크 수를 줄이고 에너지 효율을 향상시키는 데 미치는 영향 평가.
• 신규 메모리 기술이 뉴로모픽 시스템의 계산 및 메모리 에너지 비용을 줄일 잠재력을 평가하는 것.
• 스파이크 주파수 및 데이터 인코딩 전략과 같은 다양한 설계 선택 사항에 따른 시스템 수준의 에너지 소비 추세 비교.

실험 결과

연구 질문

• RQ1 스파이킹 뉴로모픽 하드웨어의 에너지 효율성은 기본 연산 수준에서 전통적 신경망과 어떻게 비교되는가?
• RQ2 스파이킹 뉴로모픽 시스템에서 주요 시스템 수준의 에너지 버티바일은 무엇이며, 전체 성능에 어떻게 영향을 미치는가?
• RQ3 응용 수준 최적화를 통해 스파이크 수를 줄이면 스파이킹 및 전통적 네트워크 간의 에너지 효율 격차를 메울 수 있는가?
• RQ4 신규 메모리 기술이 스파이킹 및 전통적 뉴로모픽 시스템 양쪽 모두의 에너지 소비를 어느 정도 줄일 수 있는가?
• RQ5 스파이킹 하드웨어가 전통적 하드웨어 수준의 시스템 수준 에너지 효율성을 달성할 수 있는 데 영향을 미치는 요인은 무엇인가?

주요 결과

• 스파이킹 하드웨어는 기본 연산 수준에서 전통적 하드웨어와 동일하거나 더 뛰어난 에너지 효율성을 달성한다.
• 스파이크 시스템에서 장기적인 스파이크 트레인에 의한 비효율적인 데이터 표현으로 인해 시스템 수준의 에너지 소비가 전통적 시스템보다 크게 높다.
• 스파이크 수를 최소화하는 응용 프로그램 설계는 스파이킹 뉴로모픽 시스템이 전통적 시스템의 에너지 효율성을 달성하는 데 기여할 수 있다.
• 신규 메모리 기술은 뉴런 유형 간 계산 및 메모리 에너지 비용을 줄일 것으로 기대되며, 이로 인해 주요 에너지 비용이 인fra구조 및 데이터 전송으로 이동할 것이다.
• 잠재적인 이점이 있음에도 불구하고, 스파이크의 양은 여전히 스파이킹 뉴로모픽 하드웨어의 확장성과 효율성을 제한하는 주요 버티바일이다.