[논문 리뷰] Bottom-up and top-down approaches for the design of neuromorphic processing systems: Tradeoffs and synergies between natural and artificial intelligence

Charlotte Frenkel, David Bol외 1명|arXiv (Cornell University)|2021. 06. 02.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 뉴모르픽 시스템에 대한 바닥에서부터 시작하는(생물학적으로 영감을 받은) 및 정상에서부터 시작하는(응용 중심의) 설계 접근 방식을 비교하며, 회로 설계, 학습 철학, 시스템 효율성 측면에서의 상충 관계를 분석한다. 자연지능과 인공지능 간의 상호보완적 관계를 규명하고, 현장에서의 학습과 이벤트 기반 처리를 통한 저전력 엣지 컴퓨팅을 위한 뉴모르픽 지능의 프레임워크를 제안한다.

ABSTRACT

While Moore's law has driven exponential computing power expectations, its nearing end calls for new avenues for improving the overall system performance. One of these avenues is the exploration of alternative brain-inspired computing architectures that aim at achieving the flexibility and computational efficiency of biological neural processing systems. Within this context, neuromorphic engineering represents a paradigm shift in computing based on the implementation of spiking neural network architectures in which processing and memory are tightly co-located. In this paper, we provide a comprehensive overview of the field, highlighting the different levels of granularity at which this paradigm shift is realized and comparing design approaches that focus on replicating natural intelligence (bottom-up) versus those that aim at solving practical artificial intelligence applications (top-down). First, we present the analog, mixed-signal and digital circuit design styles, identifying the boundary between processing and memory through time multiplexing, in-memory computation, and novel devices. Then, we highlight the key tradeoffs for each of the bottom-up and top-down design approaches, survey their silicon implementations, and carry out detailed comparative analyses to extract design guidelines. Finally, we identify necessary synergies and missing elements required to achieve a competitive advantage for neuromorphic systems over conventional machine-learning accelerators in edge computing applications, and outline the key ingredients for a framework toward neuromorphic intelligence.

연구 동기 및 목표

• 뉴모르픽 시스템에서 바닥에서부터 시작하는(생물학적으로 영감을 받은) 및 정상에서부터 시작하는(응용 중심의) 설계 접근 방식 간의 상충 관계와 상호보완적 관계를 분석하기.
• 엣지 컴퓨팅을 위한 효율적이고 다재다능하며 적응 가능한 뉴모르픽 시스템을 달성하는 데 있어 핵심 과제를 규명하기.
• 아날로그, 혼합 신호, 디지털 뉴모르픽 회로에 걸쳐 실현된 실리콘 구현 사례를 조사하기.
• 뉴모르픽 하드웨어에 시냅스 가소성과 현장에서의 학습을 통합하기 위한 설계 지침 수립하기.
• 생물학적 지능과 인공지능을 연결하는 뉴모르픽 지능의 프레임워크 제안하기

제안 방법

• 아날로그, 혼합 신호, 디지털 세 가지 회로 스타일에 걸쳐 뉴모르픽 시스템 설계를 비교 분석하며, 처리 및 메모리의 공통 배치에 중점을 둔다.
• 생물학적 신경 구조를 기반으로 한 바닥에서부터 시작하는 접근 방식과 실용적인 인공지능 응용을 목표로 한 정상에서부터 시작하는 접근 방식을 평가한다.
• 시간 다중화, 메모리 내 연산, 그리고 새로운 장치 기술을 통해 처리와 메모리의 경계를 흐리게 하는 메커니즘을 검토한다.
• 현장에서 실시간 학습과 시냅스 가소성을 구현한 스파iking 신경망의 실리콘 구현 사례를 검토한다.
• 에너지 효율성, 추론 속도, 적응 가능성 등의 주요 성능 지표를 다양한 뉴모르픽 플랫폼 간에 분석한다.
• 이벤트 기반 처리, 저전력 작동, 실시간 적응을 통합한 뉴모르픽 지능의 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 뉴모르픽 시스템에서 바닥에서부터 시작하는 접근 방식과 정상에서부터 시작하는 접근 방식 간의 핵심 상충 관계는 무엇인가?
• RQ2 아날로그, 혼합 신호, 디지털 등의 다른 회로 설계 스타일이 뉴모르픽 칩에서 처리 및 메모리의 공통 배치에 어떤 영향을 미치는가?
• RQ3 현장에서의 학습은 엣지 뉴모르픽 응용에서 적응 가능성과 프라이버시를 어떻게 지원하는가?
• RQ4 기존의 AI 가속기와 비교해 효율성과 다용도성의 격차를 줄이기 위해 뉴모르픽 시스템은 어떻게 해야 하는가?
• RQ5 경쟁적인 뉴모르픽 지능을 달성하기 위해 자연지능과 인공지능 간의 상호보완적 관계는 어떤 것이 필요한가?

주요 결과

• 스파iking 신경망 기반의 뉴모르픽 시스템은 기존의 딥 러닝 가속기보다 현저히 높은 에너지 효율성을 달성하며, 인간의 뇌는 약 20 W에서 작동하는 반면 AlphaGo Zero는 약 1 kW이다.
• 바닥에서부터 시작하는 접근 방식은 가소성과 이벤트 기반 처리의 더 밀접한 통합을 가능하게 하여 실시간 적응과 저지연 추론을 지원한다.
• 정상에서부터 시작하는 접근 방식은 이미지 인식 및 키워드 탐지와 같은 좁은 범위의 인공지능 작업에서 뛰어난 성능을 보이며, 새로운 작업을 위해 광범위한 재학습이 필요하다.
• HICANN-X와 ReckOn 등의 플랫폼을 통해 음성 및 생체 신호(예: EEG, ECG)의 종단 간 스파이크 기반 처리가 가능하며, 계산 비용이 높은 외부 프리프로세싱을 피할 수 있다.
• 웨어러블 및 로봇 시스템에서 자율적 적응을 실현하기 위해 현장에서의 학습이 필수적이며, 중심 집중형 컴퓨팅에 대한 의존도를 줄이고 프라이버시를 보존한다.
• NeuroBench 이니셔티브는 이질적인 뉴모르픽 하드웨어 및 소프트웨어 플랫폼 간 공정하고 표준화된 비교를 가능하게 하기 위한 핵심 벤치마크 세트로 부상하고 있다.