[论文解读] Learning compositional functions via multiplicative weight updates
本文提出 Madam，一种受神经网络中组合函数结构启发的乘法权重更新优化器。通过利用专为组合函数设计的下降引理，Madam 实现了深度网络的稳定训练，无需学习率调优，并天然支持低比特、对数数制表示的压缩权重，与生物突触特性相一致。
Compositionality is a basic structural feature of both biological and artificial neural networks. Learning compositional functions via gradient descent incurs well known problems like vanishing and exploding gradients, making careful learning rate tuning essential for real-world applications. This paper proves that multiplicative weight updates satisfy a descent lemma tailored to compositional functions. Based on this lemma, we derive Madam -- a multiplicative version of the Adam optimiser -- and show that it can train state of the art neural network architectures without learning rate tuning. We further show that Madam is easily adapted to train natively compressed neural networks by representing their weights in a logarithmic number system. We conclude by drawing connections between multiplicative weight updates and recent findings about synapses in biology.
研究动机与目标
- 解决训练组合函数时梯度下降因梯度消失/爆炸导致的不稳定性问题。
- 开发一种尊重深度神经网络组合结构的优化框架。
- 实现无需手动调整学习率的神经网络端到端训练。
- 原生支持使用对数数制表示权重的压缩神经网络。
- 建立乘法权重更新与生物突触可塑性之间的联系。
提出的方法
- 通过深度网络函数类的扰动分析，推导出专用于组合函数的下降引理。
- 提出 Madam，一种 Adam 优化器的乘法变体，其中权重更新采用乘法而非加法形式。
- 通过在对数空间中使用相对变化实现权重更新，支持对数数制表示。
- 引入权重裁剪机制以稳定训练并防止权重指数级增长。
- 在整个训练过程中保持权重符号不变，与神经科学中的 Dale 原理一致。
- 使用相对距离度量——深度相对信任（deep relative trust），以证明乘法更新的合理性。
实验结果
研究问题
- RQ1乘法权重更新能否为深度神经网络中组合函数提供稳定的优化路径？
- RQ2像 Madam 这样的乘法优化器是否能在标准训练设置中消除对学习率调优的需求？
- RQ3乘法更新能否自然地在对数数制中实现，从而支持高效的低精度推理？
- RQ4乘法更新与生物突触可塑性以及固定符号和有限动态范围等解剖学约束之间有何关联？
- RQ5权重裁剪对乘法优化中的收敛性和泛化性能有何影响？
主要发现
- Madam 在 CIFAR-10 上对 ResNet-18 实现了无需任何学习率调优的稳定训练，性能与 Adam 和 SGD 相当或更优。
- 使用乘法更新可直接在对数数制中表示权重，支持原生压缩的神经网络，且精度损失极小。
- Madam 中的权重裁剪机制稳定了训练过程并正则化了测试性能，裁剪阈值越低，泛化性能越好。
- Madam 在整个训练过程中保持了权重符号不变，符合 Dale 原理，无需存储符号位。
- 当 η₀ = 0.001 时，B 位 Madam 的动态范围与观察到的生物树突棘体积 60 倍范围相符，表明其具有生物合理性。
- 实证结果表明，Madam 可在无需学习率调优的情况下训练最先进架构，显示出对超参数敏感性的鲁棒性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。