[论文解读] Gradients without Backpropagation

Atılım Güneş Baydin, Barak A. Pearlmutter+3 more|arXiv (Cornell University)|Feb 17, 2022

Machine Learning and ELM被引用 20

一句话总结

本文提出了前向梯度，一种通过前向模式自动微分计算的无偏梯度估计量，使得在不进行反向传播的情况下也能进行梯度下降，并在若干机器学习任务中实现加速。

ABSTRACT

Using backpropagation to compute gradients of objective functions for optimization has remained a mainstay of machine learning. Backpropagation, or reverse-mode differentiation, is a special case within the general family of automatic differentiation algorithms that also includes the forward mode. We present a method to compute gradients based solely on the directional derivative that one can compute exactly and efficiently via the forward mode. We call this formulation the forward gradient, an unbiased estimate of the gradient that can be evaluated in a single forward run of the function, entirely eliminating the need for backpropagation in gradient descent. We demonstrate forward gradient descent in a range of problems, showing substantial savings in computation and enabling training up to twice as fast in some cases.

研究动机与目标

• 激励并定义一种仅依赖前向模式 AD 而非反向传播的梯度估计方法。
• 证明前向梯度是真实梯度的无偏估计。
• 在一系列机器学习架构上展示实用的前向梯度下降。
• 在 PyTorch 中实现一个前向模式 AD 系统，并将其性能与反向模式 AD 进行比较。

提出的方法

• 将前向梯度定义为 g(θ) = (∇f(θ)·v) v，其中 v ~ p(v) 的各分量独立且零均值、单位方差。
• 证明无偏性：E[g(θ)] = ∇f(θ)。
• 在 PyTorch 中从零实现一个前向模式自动微分引擎，与 PyTorch 的反向模式自动求导无关。
• 在 SGD 中将前向梯度下降应用于逻辑回归、MLP 和 CNN，迭代次数与反向传播等量。
• 用 R_f 与 R_b 分析运行时成本，并在不同架构中比较收敛时间 T_f 与 T_b。

实验结果

研究问题

• RQ1 前向模式 AD 是否能提供足以用于 SGD 优化的无偏梯度估计？
• RQ2 在简单到深层架构中，前向梯度下降的运行时和收敛特性是什么？
• RQ3 与反向传播相比，前向梯度是否在不牺牲训练质量的情况下提供实际的加速？
• RQ4 前向梯度下降如何随模型深度和数据规模扩展？

主要发现

• 前向梯度是梯度的无偏估计量，使得在没有反向传播的情况下也能进行 SGD。
• 在 MNIST 的逻辑回归、MLP 和 CNN 中，前向梯度在实际运行时间上可能更快，有时达到相似或更好的单位时间损失。
• 在 MNIST 逻辑回归中，前向梯度在运行时间和损失表现上大约比反向传播快两倍。
• 在 CNN 中，前向梯度显示出显著的运行时间节省，达到目标损失所需时间约在两倍尺度内的损失改进。
• 前向梯度方法随着网络深度的增加仍能保持合理的扩展性，在较大层数下也维持有利的运行时特性。