[논문 리뷰] The importance of space and time in neuromorphic cognitive agents

Giacomo Indiveri, Yulia Sandamirskaya|arXiv (Cornell University)|2019. 02. 26.

Advanced Memory and Neural Computing참고 문헌 27인용 수 12

한 줄 요약

이 논문은 실시간, 연속 시간 동역학과 혼합 신호 아날로그/디지털 회로를 이용한 공간적으로 분산된 메모리 내 계산을 활용하여 에너지 효율적이고 적응적인 행동을 달성하는 뉴모르픽 인지 에이전트를 제안한다. 생물학적 신경 처리를 모방함으로써 이 방법은 에너지 소비가 훨씬 적은 기존의 AI 시스템에 비해 신체적 에이전트가 환경과 자율적으로 학습하고 상호작용할 수 있도록 한다.

ABSTRACT

Artificial neural networks and computational neuroscience models have made tremendous progress, allowing computers to achieve impressive results in artificial intelligence (AI) applications, such as image recognition, natural language processing, or autonomous driving. Despite this remarkable progress, biological neural systems consume orders of magnitude less energy than today's artificial neural networks and are much more agile and adaptive. This efficiency and adaptivity gap is partially explained by the computing substrate of biological neural processing systems that is fundamentally different from the way today's computers are built. Biological systems use in-memory computing elements operating in a massively parallel way rather than time-multiplexed computing units that are reused in a sequential fashion. Moreover, activity of biological neurons follows continuous-time dynamics in real, physical time, instead of operating on discrete temporal cycles abstracted away from real-time. Here, we present neuromorphic processing devices that emulate the biological style of processing by using parallel instances of mixed-signal analog/digital circuits that operate in real time. We argue that this approach brings significant advantages in efficiency of computation. We show examples of embodied neuromorphic agents that use such devices to interact with the environment and exhibit autonomous learning.

연구 동기 및 목표

• 인공 신경망과 생물학적 뇌 사이의 에너지 소비와 적응성 격차를 해소하기 위해 계산 기반을 재고하는 것.
• 실시간으로 작동하는 병렬 메모리 내 아날로그/디지털 회로를 통해 생물학적 신경 시스템을 모방하는 뉴모르픽 하드웨어를 개발하는 것.
• 연속 시간 동역학과 공간적으로 분산된 계산을 사용하여 신체적 에이전트가 자율적으로 학습하고 환경과 상호작용할 수 있도록 하는 것.
• 기존의 이산 시간, 순차적 계산 방식에 비해 실시간 물리적 시간 처리가 인지 에이전트의 효율성과 민첩성 향상에 어떻게 기여하는지 보여주는 것.
• 공간과 시간이 계산에 미치는 역할을 강조함으로써 인공지능과 생물학적 신경 시스템 간 격차를 메우는 것.

제안 방법

• 실시간, 병렬, 메모리 내 계산을 위한 혼합 신호 아날로그/디지털 회로를 사용한 뉴모르픽 하드웨어의 설계 및 구현.
• 물리적 시간에서의 추상화를 피하기 위해 신경 활동을 모델링하기 위해 연속 시간 동역학을 적용하는 것.
• 동적 환경과 상호작용하는 신체적 에이전트에 뉴모르픽 프로세서를 통합하는 것.
• 실제 물리적 시간에서 작동하는 이벤트 기반 스파iking 신경망 모델의 사용.
• 뉴모르픽 하드웨어와 호환되는 학습 규칙을 적용하여 실시간에서 자율 학습을 가능하게 하는 것.
• 센서 입력, 뉴모르픽 처리, 모터 출력을 닫힌 순환 실시간 제어 시스템으로 통합한 시스템 수준 아키텍처.

실험 결과

연구 질문

• RQ1 실시간 물리적 시간에서 작동하는 뉴모르픽 하드웨어가 인지 에이전트의 효율성과 적응성에 어떻게 기여하는가?
• RQ2 아날로그/디지털 회로에서의 메모리 내 병렬 계산은 기존 디지털 아키텍처에 비해 에너지 소비를 얼마나 줄이는가?
• RQ3 뉴모르픽 시스템에서의 연속 시간 신경 동역학이 자율 학습과 강력한 환경 상호작용을 지원할 수 있는가?
• RQ4 뉴모르픽 인지 에이전트에서 계산의 공간적 분포가 어떤 이점을 제공하는가?
• RQ5 실시간 처리가 신체적 에이전트의 더 빠른 반응과 민첩한 행동을 가능하게 하는가?

주요 결과

• 실시간 연속 시간 동역학을 사용하는 뉴모르픽 에이전트는 기존의 인공 신경망에 비해 에너지 소비가 크게 낮다.
• 병렬 아날로그/디지털 회로에서의 메모리 내 계산을 통해 효율적이고 저전력의 계산이 가능하며, 이는 생물학적 신경 시스템에 가깝게 모방된다.
• 뉴모르픽 하드웨어를 탑재한 신체적 에이전트는 실시간 상호작용을 통해 동적 환경에서 자율 학습과 적응 행동을 보인다.
• 뉴모르픽 처리에서 공간과 시간의 통합은 이산 시간 순차 처리에 비해 더 빠른 반응 시간과 향상된 민첩성을 이끈다.
• 이 방법은 시간 다중 사용 및 재사용되는 계산 유닛에 의존하지 않고도 강력한 실시간 제어를 가능하게 한다.
• 생물학적 방식의 계산—공간적 분포와 연속 시간 동역학을 통해 고성능을 달성하면서도 최소한의 에너지 소비를 실현한다.