[논문 리뷰] Gradients without Backpropagation

Atılım Güneş Baydin, Barak A. Pearlmutter외 3명|arXiv (Cornell University)|2022. 02. 17.

Machine Learning and ELM인용 수 20

한 줄 요약

이 논문은 forward gradient를 도입합니다. 이는 forward-mode 자동 미분을 통해 계산된 편향되지 않은 그래디언트 추정기로, 역전파 없이 경사 하강을 가능하게 하며 여러 ML 작업에서 속도 향상을 달성합니다.

ABSTRACT

Using backpropagation to compute gradients of objective functions for optimization has remained a mainstay of machine learning. Backpropagation, or reverse-mode differentiation, is a special case within the general family of automatic differentiation algorithms that also includes the forward mode. We present a method to compute gradients based solely on the directional derivative that one can compute exactly and efficiently via the forward mode. We call this formulation the forward gradient, an unbiased estimate of the gradient that can be evaluated in a single forward run of the function, entirely eliminating the need for backpropagation in gradient descent. We demonstrate forward gradient descent in a range of problems, showing substantial savings in computation and enabling training up to twice as fast in some cases.

연구 동기 및 목표

• 역전파 대신 순수하게 forward-mode AD에 의존하는 그래디언트 추정 방법을 동기 부여하고 정의합니다.
• forward gradient가 실제 그래디언트의 편향되지 않은 추정량임을 증명합니다.
• 다양한 ML 구조에서 실용적인 forward gradient descent를 시연합니다.
• PyTorch에서 forward-mode AD 시스템을 구현하고 그것의 성능을 역방향 모드 AD와 비교합니다.

제안 방법

• forward gradient를 g(θ) = (∇f(θ)·v) v로 정의합니다. 여기서 v ~ p(v)이며 독립적인 제로-평균 단위 분산 성분을 가집니다.
• 편향되지 않음을 증명합니다: E[g(θ)] = ∇f(θ).
• PyTorch의 역방향 자동 미분과 독립적으로 PyTorch에서 처음부터 forward-mode AD 엔진을 구현합니다.
• 로지스틱 회귀, MLP, 및 CNN에서 forward gradient descent를 역전파와 동일한 반복 예산으로 SGD에 적용합니다.
• R_f와 R_b로 런타임 비용을 분석하고 다양한 아키텍처에서 목표 손실에 도달하는 데 걸리는 시간 T_f 대 T_b를 비교합니다.

실험 결과

연구 질문

• RQ1 forward-mode AD가 SGD 최적화에 충분한 편향되지 않은 그래디언트 추정을 제공할 수 있는가?
• RQ2 단순한 아키텍처와 심층 아키텍처에서 forward gradient descent의 런타임 및 수렴 특성은 어떠한가?
• RQ3 역전파에 비해 학습 품질을 저하시키지 않으면서 practical한 속도 향상을 제공하는가?
• RQ4 모델 깊이와 데이터 규모가 커질수록 forward gradient descent는 어떻게 확장되는가?

주요 결과

• Forward gradient는 그래디언트의 편향되지 않은 추정기로, 역전파 없이 SGD를 가능하게 합니다.
• MNIST 로지스틱 회귀, MLPs, 및 CNN에서 forward gradient는 월 시간당 더 빠를 수 있으며 때로는 손실 대 시간에서 비슷하거나 더 나은 성능을 달성합니다.
• MNIST 로지스틱 회귀에서 forward gradient는 런타임과 손실 성능 모두에서 역전파보다 대략 두 배 빠릅니다.
• CNN에서 forward gradient는 상당한 런타임 절감을 보이며 목표 손실에 도달하는 데 걸리는 시간은 약 두 배 범위 내의 손실 개선을 보입니다.
• forward gradient 방법은 네트워크 깊이가 증가해도 합리적으로 스케일링되며, 더 큰 계층 수에서도 우호적인 런타임 특성을 유지합니다.