[논문 리뷰] Feed-Forward Optimization With Delayed Feedback for Neural Network Training

Katharina Flügel, Daniel Coquelin외 4명|arXiv (Cornell University)|2023. 04. 26.

Neural Networks and Reservoir Computing인용 수 6

한 줄 요약

이 논문은 깊은 신경망을 위한 생물학적으로 타당하고, 백프로파게이션을 필요로 하지 않는 학습 알고리즘인 F3를 소개한다. F3는 이전 에포크에서 얻은 지연된 오차 신호를 샘플별 스케일링 인자로 사용하여 기울기를 근사한다. F3는 생물학적으로 타당한 방법과 백프로파게이션 간의 성능 격차를 최대 96%까지 감소시켜, 역전파 없이도 효율적이고 병렬화 가능하며 저에너지 학습을 가능하게 한다.

ABSTRACT

Backpropagation has long been criticized for being biologically implausible due to its reliance on concepts that are not viable in natural learning processes. Two core issues are the weight transport and update locking problems caused by the forward-backward dependencies, which limit biological plausibility, computational efficiency, and parallelization. Although several alternatives have been proposed to increase biological plausibility, they often come at the cost of reduced predictive performance. This paper proposes an alternative approach to training feed-forward neural networks addressing these issues by using approximate gradient information. We introduce Feed-Forward with delayed Feedback (F$^3$), which approximates gradients using fixed random feedback paths and delayed error information from the previous epoch to balance biological plausibility with predictive performance. We evaluate F$^3$ across multiple tasks and architectures, including both fully-connected and Transformer networks. Our results demonstrate that, compared to similarly plausible approaches, F$^3$ significantly improves predictive performance, narrowing the gap to backpropagation by up to 56% for classification and 96% for regression. This work is a step towards more biologically plausible learning algorithms while opening up new avenues for energy-efficient and parallelizable neural network training.

연구 동기 및 목표

• 백프로파게이션의 생물학적 비현실성, 특히 가중치 이동 문제와 업데이트 잠금 문제를 해결한다.
• 지연된 오차 정보를 활용하여 백프로파게이션을 필요로 하지 않는 학습 방법의 예측 성능을 향상시킨다.
• 뉴모르픽 및 엣지 장치에 적합한 효율적이고 저에너지이며 병렬화 가능한 학습을 가능하게 한다.
• 역전파 단계와 계층 간 동기화를 제거함으로써 계산 비용과 메모리 요구량을 감소시킨다.
• 백프로파게이션으로 학습이 불가능한 깊은 네트워크(최대 100층)에서의 확장성과 강건성을 입증한다.

제안 방법

• F3는 전방 가중치와 무관한 고정된 무작위 피드백 가중치를 사용하여 역전파 단계를 직접 무작위 피드백 연결로 대체한다.
• 이전 에포크에서 얻은 지연된 오차 신호를 저장하여 다음 에포크의 전방 전파에서 샘플별 스케일링 인자로 사용한다.
• 이러한 지연된 오차 신호를 사용하여 기울기를 근사함으로써, 하류 계층의 준비를 기다리지 않고도 전방 전파 중에 가중치 업데이트를 수행할 수 있다.
• 기울기 계산을 실시간 역전파와 분리함으로써 업데이트 잠금을 제거하고, 각 계층의 독립적 업데이트를 가능하게 한다.
• 피드백 경로는 고정되어 있으며 백프로파게이션을 필요로 하므로 계산 및 메모리 오버헤드가 감소한다.
• 알고리즘은 MNIST, CIFAR-10, SGEMM 등의 다양한 아키텍처와 데이터셋에 적용되었으며, 깊이 및 피드백 설계에 대한 분석 연구도 수행되었다.

Figure 1 : F 3 (a) solves both the weight transport and the update locking problem. In contrast to prior approaches, it uses delayed error information in the updates, improving the predictive performance. The current error signal $e_{t}$ in epoch $t$ is stored (green) and used in the forward pass (b

실험 결과

연구 질문

• RQ1 지연된 오차 피드백은 백프로파게이션을 필요로 하지 않는 학습 알고리즘의 예측 성능을 향상시킬 수 있는가?
• RQ2 F3는 생물학적으로 타당한 방법과 표준 백프로파게이션 간의 성능 격차를 어느 정도 감소시키는가?
• RQ3 백프로파게이션으로 학습이 불가능한 깊은 네트워크(예: 100층)에서 F3는 어떻게 성능을 발휘하는가?
• RQ4 역전파 단계와 동기화를 제거함으로써 F3는 효율적이고 병렬적이거나 현장에서의 학습을 가능하게 하는가?
• RQ5 DFA, DRTP, FA와 같은 이전 방법과 비교해 F3는 다양한 작업에서 정확도와 강건성 측면에서 어떻게 성능을 내는가?

주요 결과

• F3는 회귀 작업에서 생물학적으로 타당한 학습과 백프로파게이션 간의 성능 격차를 최대 96%까지 감소시켰다.
• 분류 작업에서는 기존의 백프로파게이션을 필요로 하지 않는 방법보다 F3가 50% 이상의 격차 감소를 기록했다.
• 백프로파게이션으로 25층을 초과하는 네트워크 학습이 실패하는 상황에서도 F3는 100층 네트워크를 성공적으로 학습시켰고, 성능 저하가 최소한이었다.
• 백프로파게이션은 25층을 초과하면 급격히 성능이 떨어지지만, F3는 깊이에 대해 훨씬 더 강건한 성능을 보였다.
• 모든 테스트된 네트워크 깊이에서 DRTP와 DFA보다 F3가 예측 성능에서 뛰어났으며, 특히 회귀 및 SGEMM와 같은 복잡한 작업에서 두드러졌다.
• 백프로파게이션보다 더 많은 에포크가 필요로 하지만, F3는 역전파 단계를 제거하고 통신 오버헤드를 줄임으로써 현장 및 뉴모르픽 학습을 가능하게 했다.

(a) Test loss over time.