[论文解读] Brain-inspired global-local hybrid learning towards human-like intelligence.

Yujie Wu, Rong Zhao+12 more|arXiv (Cornell University)|Jun 5, 2020

Advanced Memory and Neural Computing参考文献 46被引用 4

一句话总结

该论文提出了一种受大脑启发的混合学习模型，通过脉冲神经网络与元局部可塑性模块及双阶段参数化学习，统一了神经科学与机器学习。该模型实现了在少样本学习和容错学习等任务中的能效高、多尺度学习，已在天机类脑平台上得到验证。

ABSTRACT

Two main routes of learning methods exist at present including neuroscience-inspired methods and machine learning methods. Both have own advantages, but neither currently can solve all learning problems well. Integrating them into one network may provide better learning abilities for general tasks. On the other hand, spiking neural network embodies computation in spatiotemporal domain with unique features of rich coding scheme and threshold switching, which is very suitable for low power and high parallel neuromorphic computing. Here, we report a spike-based general learning model that integrates two learning routes by introducing a brain-inspired meta-local module and a two-phase parametric modelling. The hybrid model can meta-learn general local plasticity, and receive top-down supervision information for multi-scale learning. We demonstrate that this hybrid model facilitates learning of many general tasks, including fault-tolerance learning, few-shot learning and multiple-task learning. Furthermore, the implementation of the hybrid model on the Tianjic neuromorphic platform proves that it can fully utilize the advantages of neuromorphic hardware architecture and promote energy-efficient on-chip applications.

研究动机与目标

• 解决纯神经科学启发方法和机器学习方法在解决通用学习任务时的局限性。
• 将受大脑启发的元局部可塑性与参数化建模相结合，实现自适应、多尺度学习。
• 在脉冲神经网络中引入自上而下的监督，以提升在多样化任务中的泛化能力。
• 利用类脑硬件的优势，实现低功耗、片上推理与学习。
• 在天机平台上展示通用学习的能效实现。

提出的方法

• 提出一种受大脑启发的元局部模块，可在脉冲神经网络中实现对通用局部可塑性规则的元学习。
• 采用双阶段参数化建模方法，以支持在线自适应与自上而下的监督。
• 利用脉冲神经元中的时空编码与阈值切换，实现低功耗、高并行计算。
• 设计混合模型以接收自上而下的反馈，实现多尺度学习并提升任务泛化能力。
• 将混合模型映射到天机类脑平台，以利用其对脉冲动力学的硬件原生支持。
• 利用类脑架构实现能效高的片上学习与推理。

实验结果

研究问题

• RQ1 一种整合神经科学启发与机器学习原理的混合学习模型，能否在多样化任务中实现更好的泛化？
• RQ2 元学习得到的局部可塑性规则在多大程度上能增强脉冲神经网络的适应性？
• RQ3 自上而下的监督在多尺度学习中能多大程度上改善基于脉冲的模型？
• RQ4 此类混合模型能否在类脑硬件上实现能效高的片上学习？
• RQ5 脉冲动力学与参数化建模的整合在多大程度上支持容错学习与少样本学习？

主要发现

• 通过元学习的可塑性，该模型成功实现了容错学习，能够适应噪声或不完整输入数据。
• 通过元学习的局部可塑性与自上而下的反馈，该模型实现了高效的少样本学习，实现快速适应。
• 通过双阶段参数化建模，多任务学习得到增强，实现了任务间的高效迁移。
• 在天机类脑平台上的实现证实了该模型与硬件原生脉冲动力学的兼容性。
• 该模型通过充分利用类脑硬件架构，实现了能效高的片上学习应用。
• 将受大脑启发的机制与参数化学习相结合，实现了在通用学习任务中的鲁棒性能。