[论文解读] Deep Learning in Multi-Layer Architectures of Dense Nuclei

Yonghua Yin, Erol Gelenbe|arXiv (Cornell University)|Sep 22, 2016

Advanced Memory and Neural Computing参考文献 22被引用 16

一句话总结

本文提出了一种新颖的多层架构（MLA），采用多通道循环随机神经网络（MCRNN-MLA），在密集神经元簇中引入胞体到胞体的相互作用，以提升深度学习性能。通过同时建模突触连接与直接的胞体到胞体通信，该架构在多通道图像和传感器数据集上实现了最先进的分类准确率，同时相比卷积神经网络（CNN）和多层感知机（MLP）显著缩短了训练时间。

ABSTRACT

We assume that, within the dense clusters of neurons that can be found in nuclei, cells may interconnect via soma-to-soma interactions, in addition to conventional synaptic connections. We illustrate this idea with a multi-layer architecture (MLA) composed of multiple clusters of recurrent sub-networks of spiking Random Neural Networks (RNN) with dense soma-to-soma interactions, and use this RNN-MLA architecture for deep learning. The inputs to the clusters are first normalised by adjusting the external arrival rates of spikes to each cluster. Then we apply this architecture to learning from multi-channel datasets. Numerical results based on both images and sensor based data, show the value of this novel architecture for deep learning.

研究动机与目标

• 为应对大规模神经网络中深度学习日益增长的计算与内存需求。
• 探索密集脑核中胞体到胞体相互作用的生物学合理性，作为突触传递的替代或补充。
• 开发一种可扩展的深度学习架构，在保持高准确率的同时减少训练时间。
• 评估所提出架构在图像和真实传感器多通道数据集上的性能表现。
• 证明胞体到胞体相互作用可提升深度脉冲神经网络的学习效率与分类准确率。

提出的方法

• 该架构采用多层结构，每一层包含多个密集核，每个核被建模为一个循环脉冲随机神经网络（RNN）。
• 每个核同时采用传统的突触连接与新颖的胞体到胞体相互作用，实现同一簇内神经元之间的直接通信。
• 外部输入通过调整输入脉冲到达各簇的频率进行归一化，以确保激活水平的稳定。
• 神经元的激活概率 q 通过改进的 RNN 方程推导得出，同质条件下满足 q = λ⁺ / (r + λ⁻)。
• 网络采用前馈式层间结构，每个核向下一-层投射抑制性信号，实现分层特征提取。
• 应用一种训练算法，利用多通道数据集对架构进行优化，性能通过分类准确率与训练时间进行评估。

实验结果

研究问题

• RQ1 密集神经元簇中的胞体到胞体相互作用是否能提升脉冲神经网络中的深度学习性能？
• RQ2 直接神经元通信的引入对多通道数据集的分类准确率与训练效率有何影响？
• RQ3 MCRNN-MLA 架构是否在多通道图像与传感器数据上优于标准深度学习模型（如 CNN 与 MLP）？
• RQ4 所提出的架构改进在多大程度上减少了训练时间，同时保持或提升准确率？
• RQ5 包含胞体到胞体相互作用的 RNN-MLA 框架是否比原始的无此类相互作用的 RNN-MLA 更为有效？

主要发现

• MCRNN-MLA 在所有数据集上均达到最高测试准确率，在 TGSA 数据集的任务 1 上达到 98.32%，任务 2 上达到 92.25%。
• 在 TGSA 数据集的任务 2 上，MCRNN-MLA 的训练速度比 CNN 快约 127 倍，展现出卓越的训练效率。
• 改进后的 RNN-MLA 比 [5] 中的原始 RNN-MLA 表现更优，在 TGSA 数据集的任务 1 上达到 97.03% 准确率，任务 2 上达到 87.06%。
• 在 NORB 数据集上，MCRNN-MLA 达到 92.10% 的准确率，甚至超过使用 dropout 的最佳 CNN 与 MLP 模型。
• MCRNN-MLA1 变体在 TGSA 数据集任务 1 上达到 98.61% 的准确率，表明其在传感器阵列中具有强大的泛化能力。
• MCRNN-MLA2 变体（简化版本）在任务 1 上仍达到 94.75% 的准确率，表明其在架构简化后仍具有强鲁棒性。