[论文解读] How Important is Weight Symmetry in Backpropagation?

Qianli Liao, Joel Z. Leibo+1 more|arXiv (Cornell University)|Oct 17, 2015

Machine Learning and ELM参考文献 50被引用 64

一句话总结

本文研究了在深度学习中反向传播（BP）是否必须依赖权重对称性。论文提出了一种非对称BP方法，采用符号一致的反馈权重，并表明当反馈权重的大小为随机时，只要使用批量归一化（BN）和/或批量曼哈顿（BM）正则化，性能依然强劲。关键发现是，仅需前向与反馈权重之间的符号一致性，而无需其大小一致，这表明BP在无需完美权重对称的情况下也具有生物学上的合理性。

ABSTRACT

Gradient backpropagation (BP) requires symmetric feedforward and feedback connections -- the same weights must be used for forward and backward passes. This "weight transport problem" (Grossberg 1987) is thought to be one of the main reasons to doubt BP's biologically plausibility. Using 15 different classification datasets, we systematically investigate to what extent BP really depends on weight symmetry. In a study that turned out to be surprisingly similar in spirit to Lillicrap et al.'s demonstration (Lillicrap et al. 2014) but orthogonal in its results, our experiments indicate that: (1) the magnitudes of feedback weights do not matter to performance (2) the signs of feedback weights do matter -- the more concordant signs between feedforward and their corresponding feedback connections, the better (3) with feedback weights having random magnitudes and 100% concordant signs, we were able to achieve the same or even better performance than SGD. (4) some normalizations/stabilizations are indispensable for such asymmetric BP to work, namely Batch Normalization (BN) (Ioffe and Szegedy 2015) and/or a "Batch Manhattan" (BM) update rule.

研究动机与目标

• 探究反向传播中是否存在完美权重对称性对高性能的必要性。
• 探索缓解权重传输问题的、更具生物学合理性的标准BP替代方法。
• 确定哪些组件（如归一化、更新规则）对非对称BP的运行至关重要。
• 评估反馈权重符号一致性与大小在学习性能中的作用。
• 评估随机或固定反馈权重是否仍能在适当稳定机制下实现有效学习。

提出的方法

• 作者通过解耦前向与反馈权重矩阵，实现非对称反向传播，允许 V ≠ W。
• 系统性地改变反馈权重的大小和符号，以测试其对学习的影响。
• 应用批量归一化（BN）和一种新型批量曼哈顿（BM）更新规则，以稳定非对称反馈下的训练。
• 在15个分类数据集上，通过不同反馈权重配置（随机、固定、符号一致）比较性能。
• 进行对照实验，仅训练最后一层或仅训练前几层，以隔离反馈在误差信号传播中的作用。
• 分析不同BM设置的影响，并确认其在对称与非对称BP下的鲁棒性。

实验结果

研究问题

• RQ1 反馈权重的大小是否显著影响反向传播中的学习性能？
• RQ2 如果仅保持符号一致性，反向传播是否能在反馈权重大小为随机或固定时仍实现强性能？
• RQ3 像批量归一化这样的归一化技术，或像批量曼哈顿这样的更新规则，是否对非对称BP的运行是必需的？
• RQ4 前向与反馈权重之间的符号一致性水平如何影响学习性能？
• RQ5 当结合BN和/或BM时，随机反馈权重是否仍能实现有效学习？如果是，其作用机制是什么？

主要发现

• 反馈权重的大小对性能影响不大；仅其符号重要。
• 在100%符号一致性且大小随机的情况下，非对称BP的性能可与标准SGD相当或更优。
• 批量归一化和/或批量曼哈顿对稳定非对称反馈下的训练至关重要；否则梯度会爆炸或消失。
• 即使使用固定随机反馈权重，结合BN后仍优于随机猜测，表明层间存在某种协同适应机制，从而实现学习。
• 符号一致的反馈可确保有意义的误差信号传播至低层，而仅使用随机反馈则无法实现，除非结合BN。
• 批量曼哈顿与批量归一化具有互补性，能显著提升性能，尤其在小数据集上。