[논문 리뷰] Brain-inspired global-local hybrid learning towards human-like intelligence.

Yujie Wu, Rong Zhao외 12명|arXiv (Cornell University)|2020. 06. 05.

Advanced Memory and Neural Computing참고 문헌 46인용 수 4

한 줄 요약

이 논문은 스파iking 신경망과 메타-국소성 플라스티시티 모듈, 이중 단계 매개변수 학습을 갖춘 뇌에 영감을 받은 하이브리드 학습 모델을 제안한다. 이 모델은 신경과학과 기계학습을 통합하여 에너지 효율적이고 다중 척도의 학습을 가능하게 하며, 희소 샘플 및 고장 내성 학습 등의 작업에서 검증되었으며, 천지치 뉴로모르픽 플랫폼에서 성능을 입증하였다.

ABSTRACT

Two main routes of learning methods exist at present including neuroscience-inspired methods and machine learning methods. Both have own advantages, but neither currently can solve all learning problems well. Integrating them into one network may provide better learning abilities for general tasks. On the other hand, spiking neural network embodies computation in spatiotemporal domain with unique features of rich coding scheme and threshold switching, which is very suitable for low power and high parallel neuromorphic computing. Here, we report a spike-based general learning model that integrates two learning routes by introducing a brain-inspired meta-local module and a two-phase parametric modelling. The hybrid model can meta-learn general local plasticity, and receive top-down supervision information for multi-scale learning. We demonstrate that this hybrid model facilitates learning of many general tasks, including fault-tolerance learning, few-shot learning and multiple-task learning. Furthermore, the implementation of the hybrid model on the Tianjic neuromorphic platform proves that it can fully utilize the advantages of neuromorphic hardware architecture and promote energy-efficient on-chip applications.

연구 동기 및 목표

• 일반적인 학습 작업을 해결하는 데 있어 독립적인 뇌 기반 및 기계학습 방법의 한계를 해결하기 위해.
• 뇌 기반 메타-국소성 플라스티시티를 매개변수 모델링과 통합하여 적응형이고 다중 척도의 학습을 가능하게 하기 위해.
• 스파이킹 신경망에 상향식 감독을 도입하여 다양한 작업 간 일반화 능력을 향상시키기 위해.
• 뉴로모르픽 하드웨어의 장점을 활용하여 저전력, 칩 내 인fer런스 및 학습을 실현하기 위해.
• 천지치 플랫폼에서 일반 목적의 학습을 에너지 효율적으로 구현함을 입증하기 위해.

제안 방법

• 스파이킹 신경망 내에서 일반적인 국소 플라스티시티 규칙의 메타학습을 가능하게 하는 뇌 기반 메타-국소성 모듈을 도입한다.
• 온라인 적응과 상향식 감독을 모두 지원하기 위해 이중 단계 매개변수 모델링 접근법을 활용한다.
• 스파티오토르피컬 코딩과 스파이크 신경망의 임계값 스위칭을 활용하여 저전력, 고병렬 계산을 실현한다.
• 다중 척도 학습과 작업 일반화 능력 향상을 위해 하이브리드 모델이 상향식 피드백을 수신하도록 설계한다.
• 스파이킹 동역학을 하드웨어 수준에서 지원하는 천지치 뉴로모르픽 플랫폼에 하이브리드 모델을 매핑하여 하드웨어의 잠재력을 극대화한다.
• 뉴로모르픽 아키텍처를 활용하여 에너지 효율적인 칩 내 학습과 인fer런스를 달성한다.

실험 결과

연구 질문

• RQ1 뇌 기반 원리와 기계학습 원리를 통합한 하이브리드 학습 모델이 다양한 작업 간 일반화 능력을 향상시킬 수 있는가?
• RQ2 메타학습된 국소 플라스티시티 규칙은 스파이킹 신경망의 적응 능력을 어떻게 향상시키는가?
• RQ3 상향식 감독은 스파이크 기반 모델에서 다중 척도 학습에 얼마나 기여하는가?
• RQ4 이러한 하이브리드 모델은 뉴로모르픽 하드웨어에서 에너지 효율적인 칩 내 학습을 달성할 수 있는가?
• RQ5 스파이킹 동역학과 매개변수 모델링의 통합은 고장 내성 및 희소 샘플 학습을 지원하는 데 어떻게 기여하는가?

주요 결과

• 메타학습된 플라스티시티를 통해 노이즈가 있거나 완전하지 않은 입력 데이터에 적응함으로써 모델은 고장 내성 학습을 성공적으로 수행한다.
• 메타학습된 국소 플라스티시티와 상향식 피드백을 활용하여 빠른 적응을 이룰 수 있어 효과적인 희소 샘플 학습을 달성한다.
• 이중 단계 매개변수 모델링 덕분에 다중 작업 학습이 향상되어 다양한 작업 간 효율적인 전이가 가능해진다.
• 천지치 뉴로모르픽 플랫폼에 구현된 결과, 모델이 하드웨어 수준의 스파이킹 동역학과 호환됨을 확인하였다.
• 뉴로모르픽 하드웨어 아키텍처를 전면적으로 활용하여 칩 내 학습 응용 분야에서 에너지 효율성을 입증하였다.
• 뇌 기반 메커니즘과 매개변수 학습의 통합은 일반적인 학습 작업 전반에서 견고한 성능을 제공한다.