[논문 리뷰] Dimensions of Timescales in Neuromorphic Computing Systems

Herbert Jaeger, Dirk Doorakkers외 2명|arXiv (Cornell University)|2021. 02. 21.

Advanced Memory and Neural Computing참고 문헌 138인용 수 9

한 줄 요약

이 논문은 뉴로과학, 수학, 컴퓨터 과학, 뉴모르픽 공학 분야에서 '시간스케일'의 다면적인 개념을 탐구하며, 스파iking 신경망 시스템 내 시간 동적 현상과 관련된 40개 이상의 하位 주제를 규명한다. 다중시간스케일 동역학—특히 느림-빠름 시스템과 기억 보존 메커니즘—이 효과적인 리저보아르 컴퓨팅 및 뉴모르픽 하드웨어 설계에 필수적임을 제안하며, 주요 통찰은 STDP 및 RC 응용 분야의 향후 하드웨어 개발을 이끌어내는 데 기여한다.

ABSTRACT

This article is a public deliverable of the EU project "Memory technologies with multi-scale time constants for neuromorphic architectures" (MeMScales, https://memscales.eu, Call ICT-06-2019 Unconventional Nanoelectronics, project number 871371). This arXiv version is a verbatim copy of the deliverable report, with administrative information stripped. It collects a wide and varied assortment of phenomena, models, research themes and algorithmic techniques that are connected with timescale phenomena in the fields of computational neuroscience, mathematics, machine learning and computer science, with a bias toward aspects that are relevant for neuromorphic engineering. It turns out that this theme is very rich indeed and spreads out in many directions which defy a unified treatment. We collected several dozens of sub-themes, each of which has been investigated in specialized settings (in the neurosciences, mathematics, computer science and machine learning) and has been documented in its own body of literature. The more we dived into this diversity, the more it became clear that our first effort to compose a survey must remain sketchy and partial. We conclude with a list of insights distilled from this survey which give general guidelines for the design of future neuromorphic systems.

연구 동기 및 목표

• 계산 신경과학, 수학, 뉴모르픽 시스템 분야에서 '시간스케일'의 다양한 개념적 및 기술적 차원을 맵핑하기 위해.
• 기억 보존, 특이 섭동, 지연 효과 등 시간 동적 현상과 관련된 핵심 현상을 식별하고 분석하기 위해.
• STDP 및 리저보아르 컴퓨팅(예: RC) 응용 분야에 특화된 다중시간스케일 처리를 지원하는 뉴모르픽 하드웨어 설계 지침을 제공하기 위해.
• 동역학 시스템 이론적 통찰을 애널로그 스파이킹 뉴모르픽 하드웨어의 실질적 제약과 연결하기 위해.
• 애널로그 스파이킹 리저보아르에서 기억 용량에 대한 이론적 분 析의 부족을 보완하기 위해, 엄밀한 동역학 시스템 기반 프레임워크를 제안하기 위해.

제안 방법

• 뉴로과학, 수학, 컴퓨터 과학 분야에서 시간스케일 현상에 중점을 두고, 다학제적 문헌 조사를 수행하기 위해.
• 스파이킹 리저보아르 내 느림-빠름 동역학을 모델링하기 위해 특이 섭동 이론과 분기 분석을 사용하기 위해.
• 다중시간스케일 시스템 내 정보 보존 및 일시적 기반 기억을 특성화하기 위해 기하학적 동역학 시스템 이론을 적용하기 위해.
• 빠른 잊혀짐 시간스케일을 보상하기 위해 하드웨어 내 시냅스 가중치를 사전 설정하기 위해 리저보아르 전이 방법을 개발하기 위해.
• 심박수 이상 탐지 분류기를 Dynap-se 뉴모르픽 칩에 구현하고, 사전 설정된 가중치를 사용하여 효과적 기억 지속 시간을 연장하기 위해 테스트 수행하기 위해.
• 이산 시간 에코 스테이트 네트워크에서의 이전 연구를 확장하여, 시뮬레이션과 이론적 모델링을 통해 스파이킹 RNN 내 기억 용량(MC)을 분석하기 위해.

실험 결과

연구 질문

• RQ1 스피드, 기억 지속 기간, 제어 매개변수 등 다양한 개념적 차원의 '시간스케일'이 뉴모르픽 시스템 내에서 어떻게 상호작용하는가?
• RQ2 빠른 물리적 시간 상수를 가진 스파이킹 리저보아르에서 장기적 정보 보존을 가능하게 하는 근본적 메커니즘은 무엇인가?
• RQ3 다중시간스케일 스파이킹 네트워크 내 일시적 기반 워킹 메모리의 특성을 동역학 시스템 이론으로 어떻게 특성화할 수 있는가?
• RQ4 생물학적 작업 시간스케일(예: 심박수에 대한 1초)과 가용 뉴모르픽 칩 시간 상수 간의 불일치에서 발생하는 하드웨어 설계 제약은 무엇인가?
• RQ5 애널로그 스파이킹 하드웨어 내 시냅스 가중치 사전 설정이 짧은 내재 기억 지속 기간을 얼마나 효과적으로 보완할 수 있는가?

주요 결과

• 뉴모르픽 시스템 내 시간스케일은 시스템 속도, 기억 지속 기간, 제어 매개변수 동역학 등 다양한 개념적 차원을 포함하지만, 현재로서는 통합된 프레임워크가 존재하지 않는다.
• 1초 심박수 분류 작업에 대해 Dynap-se 칩에서 직접 학습을 수행한 실패는 통합 시간 상수가 너무 짧아 빠른 잊혀짐을 유도했기 때문이었다.
• 새로운 리저보아르 전이 방법을 통해 시냅스 가중치를 사전 설정함으로써 더 긴 기억 지속 기간을 모방할 수 있었고, 이는 하드웨어 한계를 효과적으로 보완하였다.
• 애널로그 스파이킹 RNN 내 기억 용량에 대한 이론적 분석은 시뮬레이션에서의 실험 측정에도 불구하고 대부분 미해결 상태이다.
• 느림-빠름 시스템과 특이 섭동 방법의 사용은 다중시간스케일 리저보아르 내 일시적 기반 기억을 분석하기 위한 유망한 기하학적 프레임워크를 제공한다.
• 향후 뉴모르픽 하드웨어는 다양한 시간 상수를 지원함으로써 실제 시간적 과제에 대한 강력한 STDP 및 RC 기반 학습을 가능하게 해야 한다.