[论文解读] Cortical prediction markets

David Balduzzi|arXiv (Cornell University)|Jan 7, 2014

Complex Systems and Time Series Analysis参考文献 23被引用 11

一句话总结

本文提出了一种基于机制设计的皮层学习框架，通过将神经元建模为理性代理人以优化合适的评分规则，表明突触权重编码了期望效用，并实现了基于反馈的激励反向传播。其主要贡献在于理论基础，将神经可塑性与预测市场相联系，实验结果证实，采用反馈可塑性的网络能够高效且准确地学习任务。

ABSTRACT

We investigate cortical learning from the perspective of mechanism design. First, we show that discretizing standard models of neurons and synaptic plasticity leads to rational agents maximizing simple scoring rules. Second, our main result is that the scoring rules are proper, implying that neurons faithfully encode expected utilities in their synaptic weights and encode high-scoring outcomes in their spikes. Third, with this foundation in hand, we propose a biologically plausible mechanism whereby neurons backpropagate incentives which allows them to optimize their usefulness to the rest of cortex. Finally, experiments show that networks that backpropagate incentives can learn simple tasks.

研究动机与目标

• 理解皮层如何利用机制设计原则将环境信息编码为神经结构。
• 通过激励机制解决局部神经元优化与全局皮层功能之间对齐的挑战。
• 探讨突触可塑性规则是否可被解释为合适的评分规则，以鼓励对期望效用的诚实编码。
• 开发一种生物上合理的机制，使神经元能够通过反馈估计并最大化其对皮层网络的有用性。
• 通过在具有反馈可塑性的脉冲神经网络上进行简单学习任务的实验，验证理论框架。

提出的方法

• 将标准神经元动力学与突触可塑性模型离散化为具有在线更新规则的阈值神经元，以优化评分规则目标。
• 将突触建模为在神经元市场中交易的理性代理人，其中突触权重通过合适的评分规则编码期望效用。
• 将神经元建模为皮层预测市场中的代理人，其目标函数对应于合适的评分规则，确保真实信念报告。
• 引入基于反馈的激励机制，使神经元利用反向传播的反馈尖峰估计其对下游神经元的有用性。
• 实现一种基于脉冲的反向传播方案，根据反馈更新突触权重，类似于误差反向传播但具有生物学合理性。
• 通过离散剪枝（类比于睡眠）实施正则化，以维持网络中稀疏且高效的连接性。

实验结果

研究问题

• RQ1 标准神经元动力学与可塑性模型能否被重新解释为在类似市场的框架中优化评分规则的理性代理人？
• RQ2 神经元模型中的目标函数是否对应于合适的评分规则，以激励对期望效用的诚实编码？
• RQ3 神经元如何利用反馈信号估计其对整个皮层的有用性，且该估计是否可用于引导学习？
• RQ4 基于反馈的激励机制是否能在监督信息极少的情况下，实现皮层类网络的有效学习？
• RQ5 突触权重在多大程度上反映了预突触和后突触活动的期望效用，其与网络性能的关系如何？

主要发现

• 神经元目标函数是合适的评分规则，确保突触权重忠实地编码预突触和后突触动作电位的期望效用。
• 突触权重 $\mathbf{w}_{ij}$ 衡量了来自神经元 $n_i$ 的动作电位对神经元 $n_j$ 的有用性，使神经元能够估计其对下游处理的贡献。
• 当启用反馈可塑性时，前向和反馈突触权重的平均值几乎完全一致，证明了对神经元有用性的准确估计。
• 采用反馈可塑性的网络在追踪任务中达到98%的准确率，在凹陷聚焦任务中达到95%，显著优于未启用反馈可塑性的版本。
• 关闭反馈可塑性后，准确率降至95%（追踪任务）和93%（凹陷聚焦任务），且反应时间严重恶化，表明其在快速、自适应学习中的关键作用。
• 延迟线机制对追踪任务表现至关重要；禁用该机制会使准确率降至接近随机水平，表明时间整合在学习动态环境中的关键作用。