[论文解读] Context-sensitive neocortical neurons transform the effectiveness and efficiency of neural information processing

Khubaib Ahmed, Ahsan Adeel+2 more|arXiv (Cornell University)|Jul 15, 2022

Advanced Memory and Neural Computing被引用 4

一句话总结

本文提出一种受生物学启发的深度学习架构，采用上下文敏感的双点新皮质神经元，将前向输入与基底树突的上下文调制相结合。通过根据上下文输入放大相关信号并抑制无关信号，该模型在处理复杂、嘈杂的真实世界数据时展现出更高的效率和鲁棒性——在语音-视觉语音去噪任务中，神经活动减少，且对组件故障具有更强的抗性。

ABSTRACT

Deep learning (DL) has big-data processing capabilities that are as good, or even better, than those of humans in many real-world domains, but at the cost of high energy requirements that may be unsustainable in some applications and of errors, that, though infrequent, can be large. We hypothesise that a fundamental weakness of DL lies in its intrinsic dependence on integrate-and-fire point neurons that maximise information transmission irrespective of whether it is relevant in the current context or not. This leads to unnecessary neural firing and to the feedforward transmission of conflicting messages, which makes learning difficult and processing energy inefficient. Here we show how to circumvent these limitations by mimicking the capabilities of context-sensitive neocortical neurons that receive input from diverse sources as a context to amplify and attenuate the transmission of relevant and irrelevant information, respectively. We demonstrate that a deep network composed of such local processors seeks to maximise agreement between the active neurons, thus restricting the transmission of conflicting information to higher levels and reducing the neural activity required to process large amounts of heterogeneous real-world data. As shown to be far more effective and efficient than current forms of DL, this two-point neuron study offers a possible step-change in transforming the cellular foundations of deep network architectures.

研究动机与目标

• 为解决当前深度学习模型能耗高、效率低的问题，这些模型依赖于全等处理所有输入的整合-放电点神经元，无论上下文如何。
• 探究是否通过模仿上下文敏感的新皮质神经元（其中顶树突根据上下文相关性调制基底输入的传递）可提升处理效率与效果。
• 证明此类神经元可减少不必要的神经放电与信息传输冲突，从而实现更高效的训练与更低的能耗。
• 在真实世界复杂任务中验证该方法：在多人说话、信噪比低的条件下进行语音-视觉语音去噪。
• 表明即使在组件受损时，该模型仍能保持高性能，体现通过上下文感知处理实现的鲁棒性。

提出的方法

• 该模型采用双点神经元架构，其中基底树突接收前向输入（如音视频特征），顶树突接收来自相邻处理器、远距离网络区域及记忆的上下文输入。
• 顶树突处的上下文整合通过学习到的门控机制调制前向信号的传递，放大一致且相关输入，衰减无关输入。
• 该调制通过一种上下文感知的门控函数实现，结合局部、远距离和全局输入，计算出动态增益因子，并应用于前向激活。
• 网络采用改进的自编码器设置进行训练，采用共享编码器-解码器结构，其中编码器使用上下文敏感的处理器，解码器则从编码特征重建干净音频。
• 通过在不同比例（P = 0 至 0.5）下随机停用处理器（设为零）执行鲁棒性测试，以评估组件故障下的性能。
• 损失函数包括标准重建损失和ELBO损失，激活函数使用ReLU，批归一化，权重初始化采用Glorot均匀分布。

实验结果

研究问题

• RQ1 上下文敏感的双点神经元是否能通过选择性地仅传输相关资讯，减少神经活动并提升深度学习的能量效率？
• RQ2 顶树突的上下文调制在真实世界、嘈杂的语音-视觉处理任务中，如何影响前向信号的传输？
• RQ3 该架构在组件故障鲁棒性方面，相较于标准深度学习模型，其优越程度如何？
• RQ4 来自多个来源（局部、远距离、记忆）的上下文输入整合，是否能增强模型处理异构、复杂真实世界数据的能力？
• RQ5 这种受生物学启发的架构能否在极低神经活动下实现高性能，从而模拟新皮质的高效性？

主要发现

• 在低信噪比和多人说话条件下，上下文敏感的双点神经元模型在语音-视觉语音去噪任务中表现优异，神经活动显著低于标准深度学习模型。
• 该模型对处理器损坏表现出高度鲁棒性，在高达25%的处理器被随机停用时仍保持性能，优于基线模型的鲁棒性。
• 实证结果表明，当误差超过1%阈值时，重建质量急剧下降，表明模型稳定性的临界点。
• 引入相邻和远距离处理器的上下文输入增强了特征选择，减少了冲突或无关信号的传输。
• 当提供干净特征时，模型实现了近乎完美的重建，证实编码器的特征质量——由上下文敏感处理驱动——是最终输出质量的主要决定因素。
• 上下文整合区域的引入实现了对前向信号的动态、自适应门控，从而实现更高效、更有效的信息处理。