[논문 리뷰] Scaling Forward Gradient With Local Losses

Mengye Ren, Simon Kornblith외 2명|arXiv (Cornell University)|2022. 10. 07.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 활성도 편향과 국소적 그레디언트 손실을 사용한 전방 기울기 학습을 통해 기울기 분산을 줄이고 확장성을 향상시키는 생물학적으로 타당한 딥 러닝 방법을 제안한다. 가중치가 아닌 활성도에 편향을 적용하고, 그룹화된 국소적 손실을 갖는 새로운 LocalMixer 아키텍처를 사용함으로써, MNIST 및 CIFAR-10에서 백프로파게이션과 유사한 성능을 달성하고, ImageNet에서는 이전의 백프로파게이션 없이도 상당히 뛰어난 성능을 보였다.

ABSTRACT

Forward gradient learning computes a noisy directional gradient and is a biologically plausible alternative to backprop for learning deep neural networks. However, the standard forward gradient algorithm, when applied naively, suffers from high variance when the number of parameters to be learned is large. In this paper, we propose a series of architectural and algorithmic modifications that together make forward gradient learning practical for standard deep learning benchmark tasks. We show that it is possible to substantially reduce the variance of the forward gradient estimator by applying perturbations to activations rather than weights. We further improve the scalability of forward gradient by introducing a large number of local greedy loss functions, each of which involves only a small number of learnable parameters, and a new MLPMixer-inspired architecture, LocalMixer, that is more suitable for local learning. Our approach matches backprop on MNIST and CIFAR-10 and significantly outperforms previously proposed backprop-free algorithms on ImageNet.

연구 동기 및 목표

• 대규모 딥 네트워크에서 표준 전방 기울기 학습의 높은 분산과 낮은 확장성 문제를 해결한다.
• 대칭적인 후행 가중치 전송과 전역 동기화를 피하는 생물학적으로 타당한 백프로파게이션 대체 방법을 개발한다.
• 활성도 편향과 국소적 손실 함수를 통해 기울기 분산을 줄임으로써 학습 안정성과 성능을 향상시킨다.
• 지역 학습과 모델 병렬 계산에 최적화된 새로운 아키텍처인 LocalMixer를 설계한다.
• 백프로파게이션에 의존하지 않고 표준 비전 벤치마크(MNIST, CIFAR-10, ImageNet)에서 실용적인 성능을 입증한다.

제안 방법

• 가중치 대신 활성도에 대한 편향을 적용하여 전방 모드 자동 미분을 사용해 방향 기울기를 계산함으로써 기울기 분산을 감소시킨다.
• 매우 많은 수의 국소적 그레디언트 손실 함수를 도입하여, 각각이 소수의 파라미터만 포함하도록 하여 학습을 격리하고 분산을 줄인다.
• MLPMixer를 영감으로 삼아 선형 토큰 혼합과 그룹화된 채널 연산을 특징으로 하는 LocalMixer 아키텍처를 설계한다. 이는 국소적 학습과의 호환성을 향상시킨다.
• 정지 기울기 연산을 사용해 국소 예측을 메인 네트워크에서 분리함으로써 독립적인 국소 최적화를 가능하게 한다.
• 학습 안정성 향상과 일반화 성능 향상을 위해 전략적 위치에 배치 정규화(BatchNorm), 레이어 정규화(LayerNorm), 국소 정규화(LocalNorm)를 적용한다.
• 국소 및 전역 예측 헤드를 갖는 다단계 학습 파이프라인을 구현하여 국소 및 전역 신호 전파를 모두 가능하게 한다.

실험 결과

연구 질문

• RQ1 대규모 딥 네트워크에서 활성도 편향을 사용한 전방 기울기 학습이 가중치 편향보다 기울기 분산을 더 낮출 수 있는가?
• RQ2 그룹화되고 패치 기반의 국소적 그레디언트 손실 함수는 백프로파게이션 없이 학습하는 데 있어 안정성과 성능에 어떤 영향을 미치는가?
• RQ3 LocalMixer와 같은 새로운 아키텍처는 백프로파게이션 없이도 ImageNet 수준의 벤치마크에 효과적으로 적용되고 확장될 수 있는가?
• RQ4 정규화 기법(BN, LN, LocalNorm)은 국소 전방 기울기 학습의 성능에 어떤 영향을 미치는가?
• RQ5 활성도 편향, 국소 손실, 전용 아키텍처의 조합이 기존의 백프로파게이션 없이도 표준 비전 벤치마크에서 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 활성도 편향은 가중치 편향보다 훨씬 낮은 분산을 갖는 기울기 추정을 제공하여 고차원 설정에서도 더 안정적인 학습을 가능하게 한다.
• MNIST 및 CIFAR-10에서 제안된 Local Forward Gradient (LG-FG-A) 방법은 백프로파게이션과 유사한 테스트 정확도를 달성한다 (예: LayerNorm 사용 시 CIFAR-10에서 33.48% 테스트 오차, BP는 30.55%).
• ImageNet에서 이 방법은 모든 이전의 백프로파게이션 없이도 성능을 뛰어넘었으며, 레이어 정규화(LN)를 사용할 경우 37.41%의 top-1 정확도, 국소 정규화(LocalNorm)를 사용할 경우 36.24%의 정확도를 기록하여 기존 대안보다 훨씬 뛰어났다.
• 국소 손실 함수의 그룹 수를 늘일수록 전방 기울기 학습에서 학습 오차가 최대 10%까지 감소하여 기울기 분산 감소와 최적화 향상을 입증한다.
• 그룹화되고 국소적인 학습 구성 요소를 갖는 LocalMixer 아키텍처는 효과적인 모델 병렬 학습을 가능하게 하며, 제한된 전역 신호가 존재하더라도 강력한 성능을 달성한다.
• LocalNorm과 같은 정규화 기법은 일반화 성능을 크게 향상시켜, 전방 기울기 학습에서 정규화 없이 대비해 테스트 오차를 최대 5%까지 감소시킨다.