[논문 리뷰] Extending the Forward Forward Algorithm

Saumya Gandhi, Ritu Gala외 2명|arXiv (Cornell University)|2023. 07. 09.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 컴퓨터 비전을 초월해 감성 분석 데이터셋인 IMDb에 Geoffrey Hinton의 Forward Forward(FF) 알고리즘을 적용함으로써, NLP 분야에서 FF에 대한 첫 번째 베이스라인을 수립한다. 새로운 피라미드형 임계값 최적화 전략을 도입하여 테스트 오차를 최대 8% 감소시켰으며, 백프로파게이션으로 학습된 네트워크와 비교해 FF 네트워크가 10–20배 더 큰 크기의 가중치를 학습한다는 점을 밝혀내어, 다른 학습 역학을 가지는 것으로 나타났다.

ABSTRACT

The Forward Forward algorithm, proposed by Geoffrey Hinton in November 2022, is a novel method for training neural networks as an alternative to backpropagation. In this project, we replicate Hinton's experiments on the MNIST dataset, and subsequently extend the scope of the method with two significant contributions. First, we establish a baseline performance for the Forward Forward network on the IMDb movie reviews dataset. As far as we know, our results on this sentiment analysis task marks the first instance of the algorithm's extension beyond computer vision. Second, we introduce a novel pyramidal optimization strategy for the loss threshold - a hyperparameter specific to the Forward Forward method. Our pyramidal approach shows that a good thresholding strategy causes a difference of up to 8% in test error. Lastly, we perform visualizations of the trained parameters and derived several significant insights, such as a notably larger (10-20x) mean and variance in the weights acquired by the Forward Forward network. Repository: https://github.com/Ads-cmu/ForwardForward

연구 동기 및 목표

• 비컴퓨터 비전 작업에 Forward Forward 알고리즘을 적용하고, 특히 IMDb 데이터셋을 사용한 감성 분류 작업을 통해 이 알고리즘이 컴퓨터 비전 외에도 일반화 가능한지를 평가하는 것.
• IMDb 영화 리뷰 데이터셋에서 Forward Forward 알고리즘의 첫 번째 성능 기준선을 수립하는 것.
• 손실 임계값 하이퍼파라미터가 네트워크 성능에 미치는 영향을 조사하고, 향상된 최적화 전략을 제안하는 것.
• Forward Forward 네트워크에서 학습된 가중치 분포를 분석하고, 백프로파게이션으로 학습된 모델과 비교하는 것.
• 다양한 활성화 함수가 Forward Forward 학습 과정에 미치는 영향을 탐색하는 것.

제안 방법

• 기존의 Hinton의 MNIST 실험을 재현하여 Forward Forward 알고리즘의 기준 성능을 검증하는 것.
• ReLU 활성화 함수를 사용하고 가중치 감쇠 없이 피드포워드 신경망을 사용하여 IMDb 데이터셋에 Forward Forward 알고리즘을 적용하는 것.
• 네트워크의 각 레이어를 거쳐 임계값이 단조롭게 증가하는 구조를 가지는 피라미드형 임계값 최적화 전략을 제안하여 일반화 성능을 향상시키는 것.
• 학습 초기에는 낮은 임계값을 시작으로 점차 증가시키는 임계값 스케줄러를 구현하여 학습 역학을 적응적으로 조정하는 것.
• ReLU, tanh, sigmoid 등 다양한 활성화 함수에 대한 분석을 통해 Forward Forward 목적함수와의 호환성을 평가하는 아블레이션 스터디를 수행하는 것.
• 가중치 행렬의 시각화와 통계 분석을 수행하여, FF 네트워크와 백프로파게이션으로 학습된 네트워크 간의 가중치 크기와 분포를 비교하는 것.

(a) Positive data samples

실험 결과

연구 질문

• RQ1 Forward Forward 알고리즘이 IMDb 데이터셋에서의 감성 분류와 같은 비컴퓨터 비전 NLP 작업에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 손실 임계값 하이퍼파라미터의 선택이 Forward Forward 네트워크의 일반화 오차에 어떤 영향을 미치는가?
• RQ3 구조화된, 계층별로 증가하는(피라미드형) 임계값 전략이 고정 또는 감소하는 임계값 스케줄링보다 우수한 성능을 보이는가?
• RQ4 가중치 분포 측면에서, Forward Forward 네트워크에서 학습된 가중치의 크기와 분산은 백프로파게이션으로 학습된 네트워크와 비교해 어떻게 다른가?
• RQ5 어떤 활성화 함수가 Forward Forward 학습 프레임워크 내에서 가장 효과적이며, 왜 제한된 활성화 함수인 tanh와 sigmoid가 성능이 열 劣하는가?

주요 결과

• Forward Forward 알고리즘이 IMDb 감성 분석 데이터셋에서 경쟁 가능한 성능을 달성하여, 이 작업에 대해 알려진 바 있는 첫 번째 기준선을 확립하였다.
• 얕은 층에서 깊은 층으로 갈수록 임계값이 증가하는 피라미드형 임계값 전략은 기준 설정 구성 대비 최대 8%의 테스트 오차 감소를 이끌어냈다.
• 초기에는 낮은 임계값을 시작으로 시간이 지남에 따라 점차 증가시키는 임계값 스케줄러를 사용함으로써 오차가 1.8%에서 1.3%로 감소하여, 적응적 튜닝 전략의 잠재력을 보여주었다.
• Forward Forward로 학습된 네트워크는 가중치 크기가 백프로파게이션으로 학습된 네트워크보다 10–20배 더 큰 것으로 나타났으며, 범위는 -14.36에서 18.19까지이며, 백프로파게이션 모델은 -0.67에서 0.43까지였고, 가중치 감쇠 없이도 동일한 결과를 보였다.
• 더 깊은 층에서 가중치 크기가 감소하는 경향을 관찰하여, 고차원 표현이 더 작은 스케일로 학습되는 체계적인 학습 과정을 시사하였다.
• 레이블 인코딩 입력 구성 요소에 연결된 가중치에 강한 피크가 관찰되어, 이 입력이 정확한 분류를 위해 핵심적인 정보를 담고 있음을 시사하였다.

(b) Negative data samples