[论文解读] Neuromorphic Overparameterisation and Few-Shot Learning in Multilayer Physical Neural Networks

Kilian D. Stenning, Jack C. Gartside+11 more|arXiv (Cornell University)|Nov 11, 2022

Neural Networks and Reservoir Computing被引用 8

一句话总结

本文提出一种基于互连纳米磁性阵列的多层物理神经网络（PNN）架构，以实现类脑计算中的过参数化与少样本学习。通过设计多样的微观态空间与几何结构，并将多个物理节点以并联和串联配置连接，系统实现了高维动力学，从而在极少量数据下实现元学习，展现出对各类任务的强泛化能力——尤其通过基于MAML的自适应机制实现快速在线重构。

ABSTRACT

Physical neuromorphic computing, exploiting the complex dynamics of physical systems, has seen rapid advancements in sophistication and performance. Physical reservoir computing, a subset of neuromorphic computing, faces limitations due to its reliance on single systems. This constrains output dimensionality and dynamic range, limiting performance to a narrow range of tasks. Here, we engineer a suite of nanomagnetic array physical reservoirs and interconnect them in parallel and series to create a multilayer neural network architecture. The output of one reservoir is recorded, scaled and virtually fed as input to the next reservoir. This networked approach increases output dimensionality, internal dynamics and computational performance. We demonstrate that a physical neuromorphic system can achieve an overparameterised state, facilitating meta-learning on small training sets and yielding strong performance across a wide range of tasks. Our approach's efficacy is further demonstrated through few-shot learning, where the system rapidly adapts to new tasks.

研究动机与目标

• 为克服现有类脑系统中输出维度受限与动力学受限的问题，后者制约性能与通用性。
• 通过多个物理节点的互连提升系统维度，实现在物理类脑计算中实现过参数化区域。
• 通过可调纳米磁性阵列的网络化架构，在物理系统中实现元学习与少样本学习。
• 通过单一连接矩阵与基于MAML的优化，实现对未见任务的快速、在线重构适应。
• 通过与基于软件的回声状态网络（ESNs）对比验证该方法，展示其在物理实现中更优的可扩展性与鲁棒性。

提出的方法

• 系统采用多层纳米磁性阵列的网络化架构，其中每个节点均为具有可调微观态空间与几何结构的独立物理系统。
• 通过并联、串联及多层配置建立互连，实现高维非退化动力学与集体处理能力。
• 每个节点的输出活动建模为 $ y_i(t) = \alpha_i \mathbf{w}_i \mathbf{o}(t) $，其中 $ \alpha_i $ 缩放权重向量 $ \mathbf{w}_i $，实现幅值与方向参数的解耦训练。
• 元学习通过MAML算法实现，其中 $ \alpha_i $ 在每个任务内（内层循环）更新，$ \mathbf{w}_i $ 通过元目标（外层循环）更新，实现快速适应。
• 系统使用Adam优化器，在从完整PNN中顺序选取的特征子集上进行训练，性能通过10次随机特征子集洗牌的平均值来确保鲁棒性。
• 性能与不同节点数的基于软件的ESNs进行基准对比，损失度量使用均方误差（MSE），并通过多项式拟合进行可视化对比。

实验结果

研究问题

• RQ1 基于多个物理类脑节点的网络化架构能否在物理系统中实现过参数化学习？
• RQ2 此类系统能否仅凭少量训练样本在多样化任务间实现有效泛化？
• RQ3 通过可调微观态动力学互连物理上不同的纳米磁性阵列，能否实现比单一体系类脑器件更丰富、非退化的动力学？
• RQ4 在少样本学习场景下，该物理PNN的性能与基于软件的回声状态网络相比如何？
• RQ5 能否在仅使用单一连接矩阵的前提下，通过MAML实现物理系统中的元学习，并实现在线重构？

主要发现

• 多层物理神经网络通过互连纳米磁性阵列的高维动力学，实现了强劲的少样本学习性能。
• 系统通过基于MAML的元学习实现对未见任务的快速适应，且性能随系统维度提升而有利增长。
• 由于物理节点多样性带来的更丰富非退化动力学，其性能优于基于软件的ESNs，尤其在高维区域表现更优。
• 可训练的缩放参数 $ \alpha_i $ 有效实现了权重幅值与方向的解耦，提升了训练稳定性与泛化能力。
• 系统对特征选择顺序具有鲁棒性，10次随机特征子集洗牌结果一致，验证了方法的可靠性。
• 结果表明，当通过充分的架构多样性与互连性设计时，物理类脑系统可进入过参数化区域。