[论文解读] Beyond accuracy: generalization properties of bio-plausible temporal credit assignment rules

Yuhan Helena Liu, Arna Ghosh+3 more|arXiv (Cornell University)|Jun 2, 2022

Advanced Memory and Neural Computing被引用 7

一句话总结

本文研究了循环神经网络中生物可实现的时间信用分配规则如何影响泛化性能，而不仅限于准确率。通过损失曲率景观分析与动力系统理论，研究发现这些规则会收敛至更高曲率区域——导致更差且更不稳定的泛化表现——其原因在于近似误差与海森矩阵特征向量之间对齐性差，从而为这一泛化差距提供了理论解释，并提出了潜在的改进方法。

ABSTRACT

To unveil how the brain learns, ongoing work seeks biologically-plausible approximations of gradient descent algorithms for training recurrent neural networks (RNNs). Yet, beyond task accuracy, it is unclear if such learning rules converge to solutions that exhibit different levels of generalization than their nonbiologically-plausible counterparts. Leveraging results from deep learning theory based on loss landscape curvature, we ask: how do biologically-plausible gradient approximations affect generalization? We first demonstrate that state-of-the-art biologically-plausible learning rules for training RNNs exhibit worse and more variable generalization performance compared to their machine learning counterparts that follow the true gradient more closely. Next, we verify that such generalization performance is correlated significantly with loss landscape curvature, and we show that biologically-plausible learning rules tend to approach high-curvature regions in synaptic weight space. Using tools from dynamical systems, we derive theoretical arguments and present a theorem explaining this phenomenon. This predicts our numerical results, and explains why biologically-plausible rules lead to worse and more variable generalization properties. Finally, we suggest potential remedies that could be used by the brain to mitigate this effect. To our knowledge, our analysis is the first to identify the reason for this generalization gap between artificial and biologically-plausible learning rules, which can help guide future investigations into how the brain learns solutions that generalize.

研究动机与目标

• 探究循环神经网络中的生物可实现时间信用分配规则是否能与真实梯度下降一样实现良好泛化。
• 考察泛化性能与合成突触权重空间中损失曲率之间的关系。
• 识别为何生物可实现规则的泛化性能劣于其非生物对应物。
• 构建一个理论框架，解释这些学习规则为何偏好高曲率解。
• 提出生物上合理的改进方法，以提升类脑学习系统中的泛化性能。

提出的方法

• 在基准RNN任务上，通过实验比较最先进的生物可实现学习规则（如对称e-prop、RFLO）与真实梯度下降（BPTT）的泛化性能与损失曲率。
• 通过损失函数在收敛权重处的海森矩阵特征谱测量曲率，重点关注主导特征值。
• 利用动力系统分析将权重更新建模为离散轨迹，并推导出一个将梯度对齐性与曲率偏好联系起来的定理。
• 通过计算梯度与误差向量（近似误差）之间的余弦相似度，以及与主海森矩阵特征向量的对齐程度，量化对齐性。
• 通过不同优化器（SGD与Adam）和学习率重复实验，验证曲率趋势的稳健性。
• 对BPTT采用早停策略，使其测试准确率与生物可实现规则匹配，并比较曲率与泛化性能。

实验结果

研究问题

• RQ1 生物可实现的时间信用分配规则在RNN中是否能与真实梯度下降一样实现良好泛化？
• RQ2 在收敛点处损失曲率景观与生物可实现学习规则的泛化性能之间是否存在相关性？
• RQ3 为何生物可实现规则倾向于收敛至权重空间中的高曲率区域？
• RQ4 梯度与误差向量（近似误差）之间的对齐性如何影响其收敛至平坦或尖锐极小值？
• RQ5 生物可实现规则与真实梯度下降之间的泛化差距是否能通过权重更新的理论动力学加以解释？

主要发现

• 在多个基准任务中，最先进的生物可实现学习规则表现出显著更差且更不稳定的泛化性能，相较于真实梯度下降（BPTT）。
• 泛化差距与主导海森矩阵特征值强相关，特征值越高，泛化性能越差。
• 生物可实现规则在突触权重空间中收敛至更高曲率区域，表现为海森矩阵特征谱的幂律衰减更陡峭，相较于BPTT。
• 生物可实现规则中的近似误差向量与主海森矩阵特征向量的对齐性较弱，解释了其避免平坦极小值的倾向。
• 推导出一个理论定理，表明误差向量与海森矩阵特征空间之间对齐性差，将导致收敛至狭窄且高曲率的极小值。
• 即使对BPTT采用早停以匹配三因子规则的测试准确率，BPTT仍收敛至更低曲率区域并实现更好泛化，证实了曲率在泛化差异中的核心作用。