[论文解读] Inference with Hybrid Bio-hardware Neural Networks

Yuan Zeng, Zubayer Ibne Ferdous+7 more|arXiv (Cornell University)|May 28, 2019

Advanced Memory and Neural Computing参考文献 31被引用 4

一句话总结

本文提出了一种两层混合生物-硬件神经网络，采用体外活体神经网络作为生物层，并结合计算全连接层进行优化，在MNIST完整数据集上实现了98.3%的测试准确率，通过自适应预处理、梯度估计和参数调优实现，展示了具有生物合理动力学的高精度推理。

ABSTRACT

To understand the learning process in brains, biologically plausible algorithms have been explored by modeling the detailed neuron properties and dynamics. On the other hand, simplified multi-layer models of neural networks have shown great success on computational tasks such as image classification and speech recognition. However, the computational models that can achieve good accuracy for these learning applications are very different from the bio-plausible models. This paper studies whether a bio-plausible model of a in vitro living neural network can be used to perform machine learning tasks and achieve good inference accuracy. A novel two-layer bio-hardware hybrid neural network is proposed. The biological layer faithfully models variations of synapses, neurons, and network sparsity in in vitro living neural networks. The hardware layer is a computational fully-connected layer that tunes parameters to optimize for accuracy. Several techniques are proposed to improve the inference accuracy of the proposed hybrid neural network. For instance, an adaptive pre-processing technique helps the proposed neural network to achieve good learning accuracy for different living neural network sparsity. The proposed hybrid neural network with realistic neuron parameters and variations achieves a 98.3% testing accuracy for the handwritten digit recognition task on the full MNIST dataset.

研究动机与目标

• 探究具有生物变异性的体外活体神经网络是否能够以高推理准确率执行机器学习任务。
• 开发一种生物合理推理机制，利用生物与计算两层协同提升性能。
• 通过将实验获得的神经参数整合到混合架构中，弥合生物真实神经动力学与高精度机器学习之间的差距。
• 验证利用活体神经网络作为测试和实现计算学习算法平台的可行性。

提出的方法

• 设计了一种两层混合神经网络：生物层基于实验获得的神经元、突触和稀疏性参数，模拟真实的体外大鼠皮层网络。
• 计算层采用可调权重和超参数的全连接网络，以优化分类准确率。
• 采用自适应预处理技术，针对生物层中网络稀疏性的变化进行调整，以保持一致的性能表现。
• 使用具有有限范围（0, 0.0075）的梯度估计器，通过在输入电流低于阈值时选择性传递梯度，提升训练效果。
• 在计算层中应用具有指数衰减的自适应学习率，以增强收敛性和准确率。
• 通过自动化搜索进行参数调优，识别出生物层和计算层的最优学习率与权重分布。

实验结果

研究问题

• RQ1 具有生物真实神经元与突触动力学的混合生物-硬件神经网络是否能够在标准机器学习基准上实现高推理准确率？
• RQ2 生物变异（如突触强度和神经元阈值分布）如何影响混合神经网络的性能？
• RQ3 哪些技术能有效补偿生物物理模型与计算模型在混合学习系统中性能差距？
• RQ4 符合生物约束的梯度估计策略是否能提升混合网络中的训练稳定性和准确率？

主要发现

• 该混合生物-硬件神经网络在完整MNIST数据集上实现了98.3%的测试准确率，使用2000个隐含神经元，接近当前最先进水平。
• 在2000个隐含神经元条件下，经优化后网络在完整MNIST数据集上达到97.94%的准确率，证明了其可扩展性与鲁棒性。
• 自适应预处理技术使生物层在不同稀疏度水平下均能保持一致的性能表现。
• 使用有限范围的梯度估计器（0, 0.0075）通过基于输入电流选择性更新权重，提升了收敛性。
• 具有指数衰减的自适应学习率使准确率相比基线优化提升了2%，证实其在混合框架中的有效性。
• 具有真实神经元变异的生物物理模型使隐含层放电率降低至60%（相比计算模型的80%），但准确率反而提升，验证了模型的生物真实性。