[论文解读] Distinguishing Learning Rules with Brain Machine Interfaces

Jacob Portes, Christian Schmid+1 more|arXiv (Cornell University)|Jun 27, 2022

Neural dynamics and brain function被引用 5

一句话总结

本文提出一种方法，通过脑机接口（BMI）实验区分生物上合理的学习规则——具体而言，是具有偏差信用分配的监督学习（SL）与无此类偏差的强化学习（RL）。通过使用循环神经网络（RNN）建模光标控制任务，作者推导出一种基于学习过程中神经活动变化的统计度量，表明SL由于信用分配不完善，会在权重更新中引入系统性偏差，而RL则沿真实梯度方向更新，从而可通过观测到的神经动力学实现清晰区分。

ABSTRACT

Despite extensive theoretical work on biologically plausible learning rules, clear evidence about whether and how such rules are implemented in the brain has been difficult to obtain. We consider biologically plausible supervised- and reinforcement-learning rules and ask whether changes in network activity during learning can be used to determine which learning rule is being used. Supervised learning requires a credit-assignment model estimating the mapping from neural activity to behavior, and, in a biological organism, this model will inevitably be an imperfect approximation of the ideal mapping, leading to a bias in the direction of the weight updates relative to the true gradient. Reinforcement learning, on the other hand, requires no credit-assignment model and tends to make weight updates following the true gradient direction. We derive a metric to distinguish between learning rules by observing changes in the network activity during learning, given that the mapping from brain to behavior is known by the experimenter. Because brain-machine interface (BMI) experiments allow for precise knowledge of this mapping, we model a cursor-control BMI task using recurrent neural networks, showing that learning rules can be distinguished in simulated experiments using only observations that a neuroscience experimenter would plausibly have access to.

研究动机与目标

• 解决在生物神经网络中识别使用何种学习规则（监督学习或强化学习）的挑战。
• 研究监督学习中不完善的信用分配如何在突触权重更新中引入系统性偏差。
• 开发一种仅基于可观测神经活动与已知BMI解码器、无需内部网络权重信息的方法，以区分学习规则。
• 在使用生物可实现学习规则训练的循环神经网络中，通过模拟BMI任务验证该方法。
• 为实验神经科学家提供一个框架，实现实时BMI范式中从神经数据推断学习机制。

提出的方法

• 使用已知解码器（将神经活动映射到行为）的循环神经网络（RNN）建模光标控制BMI任务。
• 实现两种生物上合理的学习规则：具有偏差信用分配矩阵M的监督学习（SL），以及使用策略梯度更新的强化学习（RL）。
• 为每种规则推导权重更新的预测模型：SL使用M × 错误 × 隐含活动，而RL使用BMI权重 × 噪声 × 错误 × 隐含活动。
• 计算一个统计度量——观测到的神经活动变化（ΔF）与权重更新（ΔW）之间的相关性，以评估模型拟合程度。
• 对权重更新进行主成分分析（PCA），以可视化SL中（集中方向）与RL中（分布方向）的偏差方向。
• 对不同噪声水平和解码器对齐情况下的相关度量差异进行双样本t检验，以评估统计显著性。

实验结果

研究问题

• RQ1 学习过程中的神经活动动力学差异是否可用于区分具有偏差信用分配的监督学习与无此类偏差的强化学习？
• RQ2 监督学习中存在偏差信用分配模型是否会导致权重更新方向与真实梯度出现系统性偏离？
• RQ3 基于观测到的神经活动变化的统计度量是否能可靠检测出模拟BMI实验中潜在的学习规则？
• RQ4 BMI解码器与信用分配矩阵之间的对齐程度如何影响学习规则差异的可检测性？
• RQ5 当解码器重新训练后，神经活动流形在学习各阶段是否保持显著稳定？这又在多大程度上影响学习规则的推断？

主要发现

• 在SL训练的RNN中，每次试验的观测权重更新与基于信用分配矩阵M的预测高度相关（相关系数r ≈ 0.6），表明存在系统性偏差。
• 在RL训练的RNN中，单个权重更新在主成分上分布更均匀，表明无主导更新方向。
• 在RL中，对试验进行平均后的观测权重更新与预测的RL更新方向显著相关（p < 0.01），证实了无偏梯度跟踪。
• 用于区分SL与RL的统计度量在不同噪声水平下均保持显著，尤其在解码器对齐度较低时（相似度 < 0.6）更为明显。
• 即使在重新训练解码器后，早期与后期学习阶段的神经活动流形仍表现出显著重叠，支持学习规则在时间上的稳定推断。
• SL下观测到的与预测的神经活动变化（ΔF）之间的相关性显著高于RL，证实该方法能够有效检测规则特异性偏差。