[论文解读] Biologically Plausible Learning of Text Representation with Spiking Neural Networks

Marcin Białas, Marcin Mirończuk+1 more|arXiv (Cornell University)|Jun 26, 2020

Advanced Memory and Neural Computing参考文献 44被引用 6

一句话总结

本文提出了一种生物上合理的脉冲神经网络（SNN）框架，通过无监督脉冲时间依赖可塑性（STDP）学习，实现低维脉冲基文本表征的训练。该方法将文本转化为脉冲列，训练SNN编码器以生成紧凑且具有判别性的表征，在20 newsgroups bydate数据集上达到80.19%的准确率，优于现有使用低维输出的浅层方法。

ABSTRACT

This study proposes a novel biologically plausible mechanism for generating low-dimensional spike-based text representation. First, we demonstrate how to transform documents into series of spikes spike trains which are subsequently used as input in the training process of a spiking neural network (SNN). The network is composed of biologically plausible elements, and trained according to the unsupervised Hebbian learning rule, Spike-Timing-Dependent Plasticity (STDP). After training, the SNN can be used to generate low-dimensional spike-based text representation suitable for text/document classification. Empirical results demonstrate that the generated text representation may be effectively used in text classification leading to an accuracy of $80.19\%$ on the bydate version of the 20 newsgroups data set, which is a leading result amongst approaches that rely on low-dimensional text representations.

研究动机与目标

• 开发一种基于脉冲神经网络的生物合理方法，用于学习低维脉冲基文本表征。
• 通过将高维文本数据转换为脉冲列并训练SNN编码器实现降维，以应对高维文本数据的挑战。
• 评估网络架构、抑制机制及突触剪枝对表征质量和分类性能的影响。
• 为未来在自然语言处理中构建深层SNN架构奠定基础。

提出的方法

• 使用基于词频的稀疏固定频率编码方案，将文本文档转换为脉冲列。
• 采用包含兴奋性与抑制性神经元的脉冲神经网络（SNN），通过无监督脉冲时间依赖可塑性（STDP）进行训练，以学习低维表征。
• SNN编码器生成一种紧凑的低维脉冲基输出表征，适用于下游分类任务。
• 网络采用突触权重衰减和自适应抑制机制，以稳定学习过程并提升表征质量。
• 训练后，剪除权重最低的连接以评估模型的鲁棒性与计算效率。
• 在SNN最终输出上应用线性分类器（逻辑回归）进行文档分类。

实验结果

研究问题

• RQ1 基于无监督STDP学习，一种生物合理的SNN能否从原始文本输入中学习到有意义的低维脉冲基表征？
• RQ2 抑制机制的引入在多大程度上影响了所学文本表征的质量？
• RQ3 在不降低分类性能的前提下，突触连接可被剪除到何种程度？
• RQ4 SNN编码器的规模在多大程度上影响最终文本表征的准确性？
• RQ5 与现有产生低维文本表征的浅层模型相比，该方法表现如何？

主要发现

• 所提出的基于SNN的文本表征在20 newsgroups bydate数据集上实现了80.19%的分类准确率，成为使用低维输出的浅层模型中的新SOTA。
• 在评估过程中禁用抑制机制显著提升了分类性能，表明抑制可能在推理阶段阻碍表征学习。
• 剪除高达90%的最弱突触连接对准确率无负面影响，表明所学表征具有高度冗余性和鲁棒性。
• 最佳性能出现在2,200个神经元的SNN编码器与90%剪枝组合下，即使在激进剪枝后准确率仍保持在77.5%以上。
• 较小的SNN（少于1,100个神经元）在规模增加时表现出快速的准确率提升，而更大的网络则改善速度变缓，表明性能扩展存在饱和点。
• 该方法成功将输入维度从约130,000（词汇量）降低至550至2,200个神经元，展示了强大的降维能力，同时保留了判别力。