[论文解读] Feedback alignment in deep convolutional networks

Theodore Moskovitz, Ashok Litwin-Kumar+1 more|arXiv (Cornell University)|Dec 12, 2018

Advanced Memory and Neural Computing参考文献 25被引用 45

一句话总结

该论文将反馈对齐（FA）扩展到深度卷积网络，引入符号一致的反馈和归一化策略，使 FA 能在各种 CNN 架构上与反向传播在 ImageNet 上的性能相竞争。

ABSTRACT

Ongoing studies have identified similarities between neural representations in biological networks and in deep artificial neural networks. This has led to renewed interest in developing analogies between the backpropagation learning algorithm used to train artificial networks and the synaptic plasticity rules operative in the brain. These efforts are challenged by biologically implausible features of backpropagation, one of which is a reliance on symmetric forward and backward synaptic weights. A number of methods have been proposed that do not rely on weight symmetry but, thus far, these have failed to scale to deep convolutional networks and complex data. We identify principal obstacles to the scalability of such algorithms and introduce several techniques to mitigate them. We demonstrate that a modification of the feedback alignment method that enforces a weaker form of weight symmetry, one that requires agreement of weight sign but not magnitude, can achieve performance competitive with backpropagation. Our results complement those of Bartunov et al. (2018) and Xiao et al. (2018b) and suggest that mechanisms that promote alignment of feedforward and feedback weights are critical for learning in deep networks.

研究动机与目标

• 通过放宽学习规则中的权重对称性来为生物学可行的信号分配提供动机。
• 研究为何原始 FA 在深度 CNN 和复杂数据上表现不佳。
• 开发对 FA 的修改，以在深层架构中改善性能和稳定性。
• 考察固定兴奋性/抑制性连接及权重范数约束对学习的影响。

提出的方法

• 在卷积层中应用反馈对齐，使用一个单独的向后反馈矩阵 B 来传播误差。
• 引入符号一致反馈（uSF），其中 B 与前向权重 W 的符号对齐。
• 提出归一化策略以控制梯度大小（SN、Init.）并维持对齐。
• 探索固定兴奋性/抑制性（E/I）连接及其对学习的影响。
• 在 MNIST、CIFAR-10、ImageNet 及多种架构上评估 FA 的变体。
• 将 FA 变体与 BP、DFA 和 DenseFA 相比较；包括固定范数实验以隔离效应。

实验结果

研究问题

• RQ1 FA‑scale 方法是否能在标准视觉基准上与反向传播在深度 CNN 中的性能相匹配？
• RQ2 符号一致反馈和梯度归一化是否改善 FA 在深层架构中的可扩展性？
• RQ3 约束权重范数或固定兴奋/抑制信号对 FA 学习有何影响？
• RQ4 是否存在生物学可行性情景（如 E/I 约束）仍然支持有效的 FA 学习？

主要发现

• 带符号一致反馈和归一化的 FA 变体在多个数据集上实现了与 BP 相竞争的 top-1 错误率。
• 在 ImageNet 上，带符号一致反馈且进行初始化/范数控制的 FA 将与 BP 的差距缩小，在某些配置下实现接近的性能。
• 不同的 FA 适配（Init., SN, E/I, Const.）带来不同的增益；某些方法显著缩小 FA–BP 差距（如 FA-uSF Init. 和 SN）。
• 约束前向权重范数可以提升 FA 性能，在所报道的设置中，FA-uSF Const 在 ImageNet 达到 Top-1 51.2%。
• 固定权重符号约束（E/I）显著阻碍学习，显示对 FA 性能而言符号动态的灵活性重要性。
• 直接比较显示 DFA 和 DenseFA 在有限场景下可以提供有竞争力的结果，但内存限制限制它们在大模型上的使用。